最近、かなりの数の研究者がディープラーニング手法を画像融合に適用しています。ただし、これらの作業のほとんどは、大量のトレーニングデータを必要とするか、事前にトレーニングされたモデルまたはフレームワークに依存しています。これにより、必然的にトレーニングデータの不足や、フレームワークと実際の問題との不一致が発生します。最近、Deep Image Prior(DIP)メソッドの公開により、完全にトレーニングデータなしで画像の復元を行うことが可能になりました。ただし、DIPの元の設計をマルチイメージ処理の問題に一般化することは困難です。この論文は、逆問題として画像融合を定式化しながら、DIPの枠組みの中で新しい損失計算構造を紹介します。これにより、DIPを一般的なマルチセンサー/マルチフォーカス画像融合の問題に拡張できます。次に、DIPの効果を改善するためのマルチチャネルアプローチを提案します。最後に、一般的に使用されるいくつかの画像融合評価指標を使用して評価が行われます。結果は、最先端の従来型および深層学習の画像融合方法と比較されます。私たちの方法は、さまざまな指標について以前の手法よりも優れています。特に、医用画像に適用すると、ほとんどの指標に対して最良の客観的結果を提供することが示されています。
A significant number of researchers have recently applied deep learning methods to image fusion. However, most of these works either require a large amount of training data or depend on pre-trained models or frameworks. This inevitably encounters a shortage of training data or a mismatch between the framework and the actual problem. Recently, the publication of Deep Image Prior (DIP) method made it possible to do image restoration totally training-data-free. However, the original design of DIP is hard to be generalized to multi-image processing problems. This paper introduces a novel loss calculation structure, in the framework of DIP, while formulating image fusion as an inverse problem. This enables the extension of DIP to general multisensor/multifocus image fusion problems. Secondly, we propose a multi-channel approach to improve the effect of DIP. Finally, an evaluation is conducted using several commonly used image fusion assessment metrics. The results are compared with state-of-the-art traditional and deep learning image fusion methods. Our method outperforms previous techniques for a range of metrics. In particular, it is shown to provide the best objective results for most metrics when applied to medical images.