arXiv reaDer
UFA-FUSE:マルチフォーカス画像融合のための新しい深い教師ありハイブリッドモデル
UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image fusion
従来の深層学習ベースの融合方法は、一連の後処理手順を通じて融合画像を取得するための中間決定マップを生成しました。ただし、これらの方法で生成された融合結果は、ソース画像の詳細を失ったり、アーティファクトが発生したりする可能性があります。ディープラーニングに基づく画像再構成手法に着想を得て、エンドツーエンドの教師あり学習方法でこれらの問題を解決するために、後処理なしのマルチフォーカス画像融合ネットワークフレームワークを提案します。融合モデルを十分にトレーニングするために、グラウンドトゥルース融合画像を使用して大規模なマルチフォーカス画像データセットを生成しました。さらに、より有益な融合画像を取得するために、チャネル注意モジュールと空間注意モジュールで構成される単一融合注意に基づく新しい融合戦略をさらに設計しました。具体的には、提案された融合アプローチは、主に、特徴抽出、特徴融合、および画像再構成の3つの主要コンポーネントで構成されます。まず、7つの畳み込みブロックを利用して、ソース画像から画像の特徴を抽出します。次に、抽出された畳み込み特徴は、特徴融合層で提案された融合戦略によって融合されます。最後に、融合された画像の特徴は、4つの畳み込みブロックによって再構築されます。実験結果は、マルチフォーカス画像融合のために提案されたアプローチが、19の最先端の融合方法と比較して顕著な融合性能を達成することを示しています。
Traditional and deep learning-based fusion methods generated the intermediate decision map to obtain the fusion image through a series of post-processing procedures. However, the fusion results generated by these methods are easy to lose some source image details or results in artifacts. Inspired by the image reconstruction techniques based on deep learning, we propose a multi-focus image fusion network framework without any post-processing to solve these problems in the end-to-end and supervised learning way. To sufficiently train the fusion model, we have generated a large-scale multi-focus image dataset with ground-truth fusion images. What's more, to obtain a more informative fusion image, we further designed a novel fusion strategy based on unity fusion attention, which is composed of a channel attention module and a spatial attention module. Specifically, the proposed fusion approach mainly comprises three key components: feature extraction, feature fusion and image reconstruction. We firstly utilize seven convolutional blocks to extract the image features from source images. Then, the extracted convolutional features are fused by the proposed fusion strategy in the feature fusion layer. Finally, the fused image features are reconstructed by four convolutional blocks. Experimental results demonstrate that the proposed approach for multi-focus image fusion achieves remarkable fusion performance compared to 19 state-of-the-art fusion methods.
updated: Mon Apr 05 2021 11:01:45 GMT+0000 (UTC)
published: Tue Jan 12 2021 14:33:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト