シャムトラッカーは、精度と速度のバランスが取れているため、オブジェクトトラッキングで高いパフォーマンスを発揮しました。分類ベースのCNNとは異なり、深い類似性ネットワークは、画像の類似性の問題に対処するように特別に設計されているため、本質的に追跡タスクにより適しています。ただし、シャムトラッカーは主に、類似性分析とターゲット検索に最後の畳み込み層を使用するため、パフォーマンスが制限されます。この論文では、特徴表現として単一の畳み込み層を使用することは、深い類似性フレームワークでは最適な選択ではないと主張します。複数の特徴-シャムトラッカー(MFST)を紹介します。これは、堅牢な追跡のためにいくつかの階層的特徴マップを活用する新しい追跡アルゴリズムです。畳み込み層は、オブジェクトを特徴付ける際にいくつかの抽象化レベルを提供するため、階層機能を融合することで、ターゲットのより豊かで効率的な表現を取得できます。さらに、2つの異なるCNNモデルから抽出された深い特徴を較正することにより、ターゲットの外観の変化を処理します。この高度な機能表現に基づいて、私たちの方法は、オブジェクト追跡ベンチマークで標準のシャムトラッカーを上回りながら、高い追跡精度を実現します。ソースコードとトレーニング済みモデルは、https://github.com/zhenxili96/MFSTで入手できます。
Siamese trackers demonstrated high performance in object tracking due to their balance between accuracy and speed. Unlike classification-based CNNs, deep similarity networks are specifically designed to address the image similarity problem, and thus are inherently more appropriate for the tracking task. However, Siamese trackers mainly use the last convolutional layers for similarity analysis and target search, which restricts their performance. In this paper, we argue that using a single convolutional layer as feature representation is not an optimal choice in a deep similarity framework. We present a Multiple Features-Siamese Tracker (MFST), a novel tracking algorithm exploiting several hierarchical feature maps for robust tracking. Since convolutional layers provide several abstraction levels in characterizing an object, fusing hierarchical features allows to obtain a richer and more efficient representation of the target. Moreover, we handle the target appearance variations by calibrating the deep features extracted from two different CNN models. Based on this advanced feature representation, our method achieves high tracking accuracy, while outperforming the standard siamese tracker on object tracking benchmarks. The source code and trained models are available at https://github.com/zhenxili96/MFST.