近年目覚ましい進歩が見られますが、現在の多重露光画像融合(MEF)研究は、依然として実際のグラウンドトゥルース、客観的な評価関数、および堅牢な融合戦略の欠如によって限界があります。この論文では、新しい観点から MEF 問題を研究します。私たちは合成されたグラウンドトゥルースを利用したり、損失関数を設計したり、融合戦略を開発したりしません。私たちが提案する手法 EMEF は、従来の手法と深層学習ベースの手法の両方を含む、複数の不完全な MEF 貢献者の知恵を活用しています。具体的には、EMEF は 2 つの主要な段階で構成されます。1 つはイミテータ ネットワークの事前トレーニング、もう 1 つはランタイムでのイミテータの調整です。最初の段階では、スタイル変調方式でさまざまな MEF ターゲットを模倣する統合ネットワークを作成します。第 2 段階では、各入力ペアに対して最適な融合結果を見つけるために、スタイル コードを最適化することでイミテーター ネットワークを調整します。実験では、4 つの最先端の MEF 手法から EMEF を構築し、最新リリースの MEF ベンチマーク データセットで個人および他のいくつかの競合手法と比較します。有望な実験結果は、私たちのアンサンブル フレームワークが「すべての利点を最大限に引き出す」ことができることを示しています。コードは https://github.com/medalwill/EMEF で入手できます。
Although remarkable progress has been made in recent years, current multi-exposure image fusion (MEF) research is still bounded by the lack of real ground truth, objective evaluation function, and robust fusion strategy. In this paper, we study the MEF problem from a new perspective. We don't utilize any synthesized ground truth, design any loss function, or develop any fusion strategy. Our proposed method EMEF takes advantage of the wisdom of multiple imperfect MEF contributors including both conventional and deep learning-based methods. Specifically, EMEF consists of two main stages: pre-train an imitator network and tune the imitator in the runtime. In the first stage, we make a unified network imitate different MEF targets in a style modulation way. In the second stage, we tune the imitator network by optimizing the style code, in order to find an optimal fusion result for each input pair. In the experiment, we construct EMEF from four state-of-the-art MEF methods and then make comparisons with the individuals and several other competitive methods on the latest released MEF benchmark dataset. The promising experimental results demonstrate that our ensemble framework can "get the best of all worlds". The code is available at https://github.com/medalwill/EMEF.