arXiv reaDer
混合注意に基づく RGB-T トラッキング
RGB-T Tracking Based on Mixed Attention
RGB-T 追跡には、可視モダリティと熱モダリティの両方からの画像の使用が含まれます。主な目的は、さまざまな条件で比較的支配的なモダリティを適応的に活用して、単一モダリティの追跡と比較してより堅牢な追跡を実現することです。モダリティの相補的融合(MACFTと呼ばれる)を達成するための混合注意メカニズムに基づくRGB-Tトラッカーが、この論文で提案されています。特徴抽出段階では、さまざまなトランスフォーマー バックボーン ブランチを利用して、さまざまなモダリティから特定の共有情報を抽出します。バックボーンで混合注意操作を実行して、テンプレートと検索画像間の情報の相互作用と自己強化を可能にすることにより、ターゲットの高レベルのセマンティック機能をよりよく理解する堅牢な機能表現を構築します。次に、特徴融合段階では、混合注意ベースのモダリティ融合ネットワークを介してモダリティ適応型融合が達成されます。これにより、支配的なモダリティの情報が強化され、低品質のモダリティ ノイズが抑制されます。複数の RGB-T パブリック データセットでの評価は、提案されたトラッカーが一般的な評価指標で他の RGB-T トラッカーよりも優れていることを示し、長期的な追跡シナリオにも適応できることを示しています。
RGB-T tracking involves the use of images from both visible and thermal modalities. The primary objective is to adaptively lever-age the relatively dominant modality in varying conditions to achieve more robust tracking compared to single-modality track-ing. An RGB-T tracker based on mixed attention mechanism to achieve complementary fusion of modalities (referred to as MACFT) is proposed in this paper. In the feature extraction stage, we utilize different transformer backbone branches to extract specific and shared information from different modali-ties. By performing mixed attention operations in the backbone to enable information interaction and self-enhancement between the template and search images, it constructs a robust feature representation that better understands the high-level semantic features of the target. Then, in the feature fusion stage, a modal-ity-adaptive fusion is achieved through a mixed attention-based modality fusion network, which suppresses the low-quality mo-dality noise while enhancing the information of the dominant modality. Evaluation on multiple RGB-T public datasets demon-strates that our proposed tracker outperforms other RGB-T trackers on general evaluation metrics while also being able to adapt to long-term tracking scenarios.
updated: Sun Apr 09 2023 15:59:41 GMT+0000 (UTC)
published: Sun Apr 09 2023 15:59:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト