この研究は、野生の隠されたオブジェクトの発見と位置特定に焦点を当てており、無人システムに役立ちます。経験的分析を通じて、赤外線と可視画像の融合 (IVIF) により、見つけにくいオブジェクトを明確に見つけることができる一方、マルチモーダル顕著オブジェクト検出 (SOD) は、画像内のオブジェクトの正確な空間位置を正確に描写します。異なるソース画像から相補的な手がかりを探すというそれらの共通の特徴は、IRFS と呼ばれる初めての対話型強化マルチタスク パラダイムを介して、赤外線画像および可視画像上の Fusion タスクと顕著物体検出タスクの間の協調関係を探求する動機となります。マルチモーダル画像融合と SOD タスクのシームレスなブリッジとして、ソース画像から干渉する特徴を選別して、顕著性に関連する特徴を保存する特徴スクリーニングベースの融合サブネットワーク (FSFNet) を特に開発しました。 FSFNet を通じて融合画像を生成した後、その画像は 3 番目のモダリティとして後続の Fusion-Guided Cross-Complementary SOD サブネットワーク (FC^2Net) に供給され、融合画像から得られた補完情報を活用して顕著性マップの正確な予測を推進します。画像。さらに、より短いトレーニング期間とより少ないネットワークパラメータでIVIFとSODタスクの相互強化を達成するための対話型ループ学習戦略を開発します。包括的な実験結果は、IVIF と SOD のシームレスなブリッジが相互にパフォーマンスを向上させ、その優位性を強調していることを実証しています。
This research focuses on the discovery and localization of hidden objects in the wild and serves unmanned systems. Through empirical analysis, infrared and visible image fusion (IVIF) enables hard-to-find objects apparent, whereas multimodal salient object detection (SOD) accurately delineates the precise spatial location of objects within the picture. Their common characteristic of seeking complementary cues from different source images motivates us to explore the collaborative relationship between Fusion and Salient object detection tasks on infrared and visible images via an Interactively Reinforced multi-task paradigm for the first time, termed IRFS. To the seamless bridge of multimodal image fusion and SOD tasks, we specifically develop a Feature Screening-based Fusion subnetwork (FSFNet) to screen out interfering features from source images, thereby preserving saliency-related features. After generating the fused image through FSFNet, it is then fed into the subsequent Fusion-Guided Cross-Complementary SOD subnetwork (FC^2Net) as the third modality to drive the precise prediction of the saliency map by leveraging the complementary information derived from the fused image. In addition, we develop an interactive loop learning strategy to achieve the mutual reinforcement of IVIF and SOD tasks with a shorter training period and fewer network parameters. Comprehensive experiment results demonstrate that the seamless bridge of IVIF and SOD mutually enhances their performance, and highlights their superiority.