ディープラーニングベースの画像復元と融合の方法は、驚くべき結果を達成しました。しかし、既存の修復および融合方法は、動的劣化によって引き起こされるロバスト性の問題にほとんど研究の注意を払っていませんでした。本論文では、DDRF-Netと呼ばれる新しい動的画像復元と融合ニューラルネットワークを提案します。これは、静的復元と融合、動的劣化という2つの問題を解決することができます。既存の方法の静的融合問題を解決するために、動的畳み込みが導入され、動的復元と融合重みが学習されます。さらに、動的劣化カーネルは、画像の復元と融合の堅牢性を向上させるために提案されています。当社のネットワークフレームワークは、画像劣化と画像融合タスクを効果的に組み合わせ、画像復元損失による画像融合タスクのより詳細な情報を提供し、画像融合損失による画像復元タスクを最適化することができます。したがって、静的融合の重みや特別に設計されたネットワークアーキテクチャなど、画像融合におけるディープラーニングの障害が大幅に軽減されます。広範な実験は、私たちの方法が最先端の方法と比較してより優れていることを示しています。
The deep-learning-based image restoration and fusion methods have achieved remarkable results. However, the existing restoration and fusion methods paid little research attention to the robustness problem caused by dynamic degradation. In this paper, we propose a novel dynamic image restoration and fusion neural network, termed as DDRF-Net, which is capable of solving two problems, i.e., static restoration and fusion, dynamic degradation. In order to solve the static fusion problem of existing methods, dynamic convolution is introduced to learn dynamic restoration and fusion weights. In addition, a dynamic degradation kernel is proposed to improve the robustness of image restoration and fusion. Our network framework can effectively combine image degradation with image fusion tasks, provide more detailed information for image fusion tasks through image restoration loss, and optimize image restoration tasks through image fusion loss. Therefore, the stumbling blocks of deep learning in image fusion, e.g., static fusion weight and specifically designed network architecture, are greatly mitigated. Extensive experiments show that our method is more superior compared with the state-of-the-art methods.