マルチフォーカス画像融合の一般的な目的は、さまざまな画像の焦点領域を収集して、独自の全焦点融合画像を生成することです。深層学習ベースの方法は、その強力な特徴表現能力のおかげで、画像融合の主流になります。ただし、既存のディープラーニング構造のほとんどは、融合の品質とエンドツーエンドの実装の利便性のバランスをとることができませんでした。エンドツーエンドのデコーダー設計では、非線形マッピングメカニズムが原因で、パフォーマンスが低下することがよくあります。一方、中間決定マップを生成すると、融合された画像の品質が向上しますが、経験的な後処理パラメーターの選択による修正に依存します。この作業では、出力画質と構造実装の包括的な単純さの両方の要件を処理するために、エンドツーエンドのトレーニング手順で意思決定マップと融合結果を同時に生成するカスケードネットワークを提案します。これにより、推論段階での経験的な後処理方法への依存が回避されます。融合品質を改善するために、出力融合画像の勾配情報を保存するための勾配認識損失関数を導入します。さらに、複数の画像融合のアプリケーションでの時間消費を削減するための意思決定キャリブレーション戦略を設計します。広範な実験が行われ、6つの評価指標を備えた18の異なる最先端のマルチフォーカス画像融合構造と比較されます。結果は、私たちの設計された構造が一般に出力融合画質を改善できる一方で、実装効率が複数画像融合で30%以上向上することを証明しています。
The general aim of multi-focus image fusion is to gather focused regions of different images to generate a unique all-in-focus fused image. Deep learning based methods become the mainstream of image fusion by virtue of its powerful feature representation ability. However, most of the existing deep learning structures failed to balance fusion quality and end-to-end implementation convenience. End-to-end decoder design often leads to poor performance because of its non-linear mapping mechanism. On the other hand, generating an intermediate decision map achieves better quality for the fused image, but relies on the rectification with empirical post-processing parameter choices. In this work, to handle the requirements of both output image quality and comprehensive simplicity of structure implementation, we propose a cascade network to simultaneously generate decision map and fused result with an end-to-end training procedure. It avoids the dependence on empirical post-processing methods in the inference stage. To improve the fusion quality, we introduce a gradient aware loss function to preserve gradient information in output fused image. In addition, we design a decision calibration strategy to decrease the time consumption in the application of multiple image fusion. Extensive experiments are conducted to compare with 18 different state-of-the-art multi-focus image fusion structures with 6 assessment metrics. The results prove that our designed structure can generally ameliorate the output fused image quality, while implementation efficiency increases over 30% for multiple image fusion.