arXiv reaDer
LE2Fusion: 赤外線画像と可視画像の融合のための新しいローカルエッジ強調モジュール
LE2Fusion: A novel local edge enhancement module for infrared and visible image fusion
赤外線画像と可視画像の融合タスクは、マルチソース画像から顕著な特徴と豊富なテクスチャの詳細を含む融合画像を生成することを目的としています。しかし、複雑な照明条件下では、下流のタスクにとって重要な局所領域のエッジ情報に注意を払うアルゴリズムはほとんどありません。この目的を達成するために、我々は、LE2Fusion と呼ばれる、ローカル エッジ強化に基づく融合ネットワークを提案します。具体的には、複雑な照明条件下でエッジ情報を改善し、画像の本質的な特徴を保存するために、ローカル エッジ エンハンスメント (LE2) モジュールが提案されています。特徴抽出では、マルチスケール残留注意 (MRA) モジュールを適用して豊富な特徴を抽出します。次に、LE2 を使用して、特徴融合戦略で利用され、画像再構成をガイドするために使用される一連の強調重みが生成されます。局所的な詳細情報と構造情報をより適切に保存するために、局所領域に基づくピクセル強度損失関数も表示されます。実験では、提案された手法が公開データセットでの最先端の融合手法よりも優れた融合パフォーマンスを示すことが実証されました。
Infrared and visible image fusion task aims to generate a fused image which contains salient features and rich texture details from multi-source images. However, under complex illumination conditions, few algorithms pay attention to the edge information of local regions which is crucial for downstream tasks. To this end, we propose a fusion network based on the local edge enhancement, named LE2Fusion. Specifically, a local edge enhancement (LE2) module is proposed to improve the edge information under complex illumination conditions and preserve the essential features of image. For feature extraction, a multi-scale residual attention (MRA) module is applied to extract rich features. Then, with LE2, a set of enhancement weights are generated which are utilized in feature fusion strategy and used to guide the image reconstruction. To better preserve the local detail information and structure information, the pixel intensity loss function based on the local region is also presented. The experiments demonstrate that the proposed method exhibits better fusion performance than the state-of-the-art fusion methods on public datasets.
updated: Sat May 27 2023 05:37:02 GMT+0000 (UTC)
published: Sat May 27 2023 05:37:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト