arXiv reaDer
RGBT追跡のための双対性ゲート相互条件ネットワーク
Duality-Gated Mutual Condition Network for RGBT Tracking
低品質のモダリティには、多くのノイズの多い情報だけでなく、RGBT追跡のいくつかの識別機能も含まれています。ただし、低品質のモダリティの可能性は、既存のRGBT追跡アルゴリズムでは十分に検討されていません。この作業では、データノイズの影響を抑制しながら、すべてのモダリティの識別情報を十分に活用するために、新しい双対性ゲート相互条件ネットワークを提案します。具体的には、モダリティの識別情報を条件として、別のモダリティでのターゲットの外観の特徴学習をガイドする相互条件モジュールを設計します。このようなモジュールは、低品質のモダリティが存在する場合でも、すべてのモダリティのターゲット表現を効果的に強化できます。条件の品質を改善し、データノイズをさらに削減するために、二重性ゲートメカニズムを提案し、それを相互条件モジュールに統合します。 RGBTトラッキングでよく発生する突然のカメラの動きによって引き起こされるトラッキング障害に対処するために、オプティカルフローアルゴリズムに基づいたリサンプリング戦略を設計します。モデルの予測が信頼できない場合にのみオプティカルフローの計算を実行し、カメラの突然の動きが検出されたときにリサンプリングを実行するため、計算コストはそれほど増加しません。 4つのRGBT追跡ベンチマークデータセットでの広範な実験は、私たちの方法が最先端の追跡アルゴリズムに対して有利に機能することを示しています
Low-quality modalities contain not only a lot of noisy information but also some discriminative features in RGBT tracking. However, the potentials of low-quality modalities are not well explored in existing RGBT tracking algorithms. In this work, we propose a novel duality-gated mutual condition network to fully exploit the discriminative information of all modalities while suppressing the effects of data noise. In specific, we design a mutual condition module, which takes the discriminative information of a modality as the condition to guide feature learning of target appearance in another modality. Such module can effectively enhance target representations of all modalities even in the presence of low-quality modalities. To improve the quality of conditions and further reduce data noise, we propose a duality-gated mechanism and integrate it into the mutual condition module. To deal with the tracking failure caused by sudden camera motion, which often occurs in RGBT tracking, we design a resampling strategy based on optical flow algorithms. It does not increase much computational cost since we perform optical flow calculation only when the model prediction is unreliable and then execute resampling when the sudden camera motion is detected. Extensive experiments on four RGBT tracking benchmark datasets show that our method performs favorably against the state-of-the-art tracking algorithms
updated: Mon Nov 30 2020 13:11:43 GMT+0000 (UTC)
published: Sat Nov 14 2020 01:48:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト