シャムトラッカーは、精度と速度のバランスにより、最近興味深い結果を達成しています。この成功は主に、深い類似性ネットワークが画像の類似性の問題に対処するために特別に設計されたという事実によるものです。したがって、追跡タスクには、従来のCNNよりも本質的に適切です。ただし、シャムトラッカーは、類似性分析とターゲット検索を最後の畳み込み層に依存しているため、パフォーマンスが制限されます。この論文では、単一の畳み込み層を特徴表現として使用することは、オブジェクトを特徴付ける際に複数の畳み込み層がいくつかの抽象化レベルを提供するため、深い類似性フレームワーク内で最適な選択ではないと主張します。この動機から始めて、堅牢な深い類似性追跡のためにいくつかの階層的特徴マップを活用する新しい追跡アルゴリズムである、Multi-Features Siamese Tracker(MFST)を紹介します。 MFSTは、階層機能を融合して、より豊かで効率的な表現を保証します。さらに、2つの異なるCNNモデルから抽出された深い特徴を較正することにより、外観の変化を処理します。この高度な機能表現に基づいて、私たちのアルゴリズムは、標準のシャムトラッカーを含むいくつかの最先端のトラッカーを上回りながら、高い追跡精度を実現します。コードとトレーニング済みモデルはhttps://github.com/zhenxili96/MFSTで入手できます。
Siamese trackers have recently achieved interesting results due to their balance between accuracy and speed. This success is mainly due to the fact that deep similarity networks were specifically designed to address the image similarity problem. Therefore, they are inherently more appropriate than classical CNNs for the tracking task. However, Siamese trackers rely on the last convolutional layers for similarity analysis and target search, which restricts their performance. In this paper, we argue that using a single convolutional layer as feature representation is not the optimal choice within the deep similarity framework, as multiple convolutional layers provide several abstraction levels in characterizing an object. Starting from this motivation, we present the Multi-Features Siamese Tracker (MFST), a novel tracking algorithm exploiting several hierarchical feature maps for robust deep similarity tracking. MFST proceeds by fusing hierarchical features to ensure a richer and more efficient representation. Moreover, we handle appearance variation by calibrating deep features extracted from two different CNN models. Based on this advanced feature representation, our algorithm achieves high tracking accuracy, while outperforming several state-of-the-art trackers, including standard Siamese trackers. The code and trained models are available at https://github.com/zhenxili96/MFST.