赤外線と可視画像の融合ターゲットは、さまざまなセンサーからの補完的な情報を組み合わせて有益な画像を提供します。既存の学習ベースの融合アプローチは、2 つのモダリティ間の相互関係を発見することを怠りながら、両方のモダリティから補完的な機能を保持するためにさまざまな損失関数を構築しようとします。これらの問題を軽減するために、CoCoNet と呼ばれる結合された対照的な学習ネットワークを提案し、エンドツーエンドの方法で赤外線画像と可視画像の融合を実現します。具体的には、両方のモダリティからの典型的な特徴を同時に保持し、融合された結果に現れる不要な情報を削除するために、損失関数に結合された対照的な制約を作成します。融合された画像では、その前景のターゲット/背景の詳細部分が赤外線/表示空間内の可視/赤外光源から遠ざけられます。さらに、画像の特性を利用してデータに敏感な重みを提供することで、損失関数がソース画像とのより信頼できる関係を構築できるようにします。さらに、豊富な階層的特徴表現を学習し、融合プロセスで特徴を包括的に転送するために、マルチレベルの注意モジュールが確立されます。さらに、提案されたCoCoNetを、磁気共鳴画像と陽電子放射断層撮影画像、磁気共鳴画像と単一光子放射断層撮影画像など、さまざまなタイプの医用画像融合にも適用します。広範な実験により、特に顕著なターゲットを維持し、重要なテクスチャの詳細を回復する際に、主観的評価と客観的評価の両方で最先端の (SOTA) パフォーマンスを達成することが実証されています。
Infrared and visible image fusion targets to provide an informative image by combining complementary information from different sensors. Existing learning-based fusion approaches attempt to construct various loss functions to preserve complementary features from both modalities, while neglecting to discover the inter-relationship between the two modalities, leading to redundant or even invalid information on the fusion results. To alleviate these issues, we propose a coupled contrastive learning network, dubbed CoCoNet, to realize infrared and visible image fusion in an end-to-end manner. Concretely, to simultaneously retain typical features from both modalities and remove unwanted information emerging on the fused result, we develop a coupled contrastive constraint in our loss function.In a fused imge, its foreground target/background detail part is pulled close to the infrared/visible source and pushed far away from the visible/infrared source in the representation space. We further exploit image characteristics to provide data-sensitive weights, which allows our loss function to build a more reliable relationship with source images. Furthermore, to learn rich hierarchical feature representation and comprehensively transfer features in the fusion process, a multi-level attention module is established. In addition, we also apply the proposed CoCoNet on medical image fusion of different types, e.g., magnetic resonance image and positron emission tomography image, magnetic resonance image and single photon emission computed tomography image. Extensive experiments demonstrate that our method achieves the state-of-the-art (SOTA) performance under both subjective and objective evaluation, especially in preserving prominent targets and recovering vital textural details.