画像融合の分野では、深層学習ベースの融合手法の設計は日常的ではありません。これは常にフュージョンタスク固有であり、慎重に検討する必要があります。設計の最も難しい部分は、手元にある特定のタスクの融合画像を生成するための適切な戦略を選択することです。したがって、学習可能な融合戦略を考案することは、画像融合のコミュニティにおいて非常に困難な問題です。この問題に対処するために、赤外線と可視画像の融合のために、新しいエンドツーエンドの融合ネットワークアーキテクチャ(RFN-Nest)が開発されています。従来の融合アプローチに代わる残余アーキテクチャに基づく残余融合ネットワーク(RFN)を提案します。 RFNをトレーニングするために、新しい詳細保存損失関数と機能強化損失関数が提案されています。融合モデルの学習は、新しい2段階のトレーニング戦略によって実現されます。最初の段階では、革新的なNest Connection(Nest)の概念に基づいてオートエンコーダーをトレーニングします。次に、RFNは、提案された損失関数を使用してトレーニングされます。パブリックドメインデータセットの実験結果は、既存の方法と比較して、私たちのエンドツーエンドの融合ネットワークが主観的および客観的評価の両方で最先端の方法よりも優れたパフォーマンスを提供することを示しています。フュージョンメソッドのコードはhttps://github.com/hli1221/imagefusion-rfn-nestで入手できます。
In the image fusion field, the design of deep learning-based fusion methods is far from routine. It is invariably fusion-task specific and requires a careful consideration. The most difficult part of the design is to choose an appropriate strategy to generate the fused image for a specific task in hand. Thus, devising learnable fusion strategy is a very challenging problem in the community of image fusion. To address this problem, a novel end-to-end fusion network architecture (RFN-Nest) is developed for infrared and visible image fusion. We propose a residual fusion network (RFN) which is based on a residual architecture to replace the traditional fusion approach. A novel detail-preserving loss function, and a feature enhancing loss function are proposed to train RFN. The fusion model learning is accomplished by a novel two-stage training strategy. In the first stage, we train an auto-encoder based on an innovative nest connection (Nest) concept. Next, the RFN is trained using the proposed loss functions. The experimental results on public domain data sets show that, compared with the existing methods, our end-to-end fusion network delivers a better performance than the state-of-the-art methods in both subjective and objective evaluation. The code of our fusion method is available at https://github.com/hli1221/imagefusion-rfn-nest