arXiv reaDer
ResNetとゼロ位相成分分析による赤外線と可視画像の融合
Infrared and Visible Image Fusion with ResNet and zero-phase component analysis
  特徴抽出および処理タスクは、Image Fusionで重要な役割を果たし、融合のパフォーマンスは、実行されるさまざまな機能および処理方法によって直接影響を受けます。対照的に、ほとんどの深層学習ベースの方法は、特徴の抽出や処理を行わずに直接深層の特徴を使用します。これにより、融合パフォーマンスが低下する場合があります。これらの欠点を解決するために、我々は深い特徴を提案し、ゼロ位相成分分析(ZCA)ベースの新しい融合フレームワークをこの論文で提案します。まず、残差ネットワーク(ResNet)を使用して、ソース画像から深い特徴を抽出します。次に、ZCAを使用して、ディープフィーチャを正規化し、初期ウェイトマップを取得します。最終的な重みマップは、初期の重みマップに関連してソフトマックス演算を使用することにより取得されます。最後に、加重平均戦略を使用して融合画像が再構築されます。既存の融合法と比較して、実験結果は、提案されたフレームワークが客観的評価と視覚的品質の両方でより良いパフォーマンスを達成することを示しています。融合アルゴリズムのコードは、https://github.com/hli1221/imagefusion_resnet50で入手できます。
Feature extraction and processing tasks play a key role in Image Fusion, and the fusion performance is directly affected by the different features and processing methods undertaken. By contrast, most of deep learning-based methods use deep features directly without feature extraction or processing. This leads to the fusion performance degradation in some cases. To solve these drawbacks, we propose a deep features and zero-phase component analysis (ZCA) based novel fusion framework is this paper. Firstly, the residual network (ResNet) is used to extract deep features from source images. Then ZCA is utilized to normalize the deep features and obtain initial weight maps. The final weight maps are obtained by employing a soft-max operation in association with the initial weight maps. Finally, the fused image is reconstructed using a weighted-averaging strategy. Compared with the existing fusion methods, experimental results demonstrate that the proposed framework achieves better performance in both objective assessment and visual quality. The code of our fusion algorithm is available at https://github.com/hli1221/imagefusion_resnet50
updated: Fri Sep 20 2019 15:10:32 GMT+0000 (UTC)
published: Tue Jun 19 2018 09:15:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト