arXiv reaDer
深い画像事前分布を使用した教師なし画像融合
Unsupervised Image Fusion Using Deep Image Priors
かなりの数の研究者が、画像融合にディープラーニング手法を適用しています。ただし、ほとんどの作業では、大量のトレーニングデータが必要であるか、ソース画像から特徴をキャプチャするために事前にトレーニングされたモデルまたはフレームワークに依存しています。これは、トレーニングデータの不足、またはフレームワークと実際の問題との不一致によって必然的に妨げられます。 Deep Image Prior(DIP)は、入力画像の「prior」を合成する畳み込みニューラルネットワークの機能を活用するために導入されました。ただし、DIPの元の設計は、特に画像融合の場合、マルチ画像処理の問題に一般化するのは困難です。したがって、逆問題として定式化された融合タスクにDIPを拡張する新しい画像融合手法を提案します。さらに、マルチチャネルアプローチを適用して、DIPの効果をさらに高めます。評価は、いくつかの一般的に使用される画像融合評価メトリックを使用して実行されます。結果は、最先端の画像融合法と比較されます。私たちの方法は、さまざまな指標でこれらの手法よりも優れています。特に、医用画像に適用すると、ほとんどのメトリックに対して最良の客観的な結果を提供することが示されています。
A significant number of researchers have applied deep learning methods to image fusion. However, most works require a large amount of training data or depend on pre-trained models or frameworks to capture features from source images. This is inevitably hampered by a shortage of training data or a mismatch between the framework and the actual problem. Deep Image Prior (DIP) has been introduced to exploit convolutional neural networks' ability to synthesize the 'prior' in the input image. However, the original design of DIP is hard to be generalized to multi-image processing problems, particularly for image fusion. Therefore, we propose a new image fusion technique that extends DIP to fusion tasks formulated as inverse problems. Additionally, we apply a multi-channel approach to enhance DIP's effect further. The evaluation is conducted with several commonly used image fusion assessment metrics. The results are compared with state-of-the-art image fusion methods. Our method outperforms these techniques for a range of metrics. In particular, it is shown to provide the best objective results for most metrics when applied to medical images.
updated: Tue Feb 22 2022 16:52:27 GMT+0000 (UTC)
published: Mon Oct 18 2021 17:38:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト