複数の低ダイナミックレンジ(LDR)画像からの高ダイナミックレンジ(HDR)イメージングは、シーンやオブジェクトの動きによって引き起こされるゴーストアーチファクトに悩まされてきました。オプティカルフローベースのソリューションやエンドツーエンドのディープラーニングベースのソリューションなどの既存の方法では、詳細な復元またはゴーストアーティファクトの除去のいずれかでエラーが発生しやすくなります。包括的な経験的証拠は、大きな前景の動きによって引き起こされるゴーストアーチファクトが主に低周波信号であり、詳細が主に高周波信号であることを示しています。この作業では、周波数領域でHDR融合を実行するための新しい周波数ガイドエンドツーエンドディープニューラルネットワーク(FHDRNet)を提案し、離散ウェーブレット変換(DWT)を使用して入力をさまざまな周波数帯域に分解します。低周波数信号は特定のゴーストアーチファクトを回避するために使用され、高周波数信号は詳細を保持するために使用されます。 U-Netをバックボーンとして使用して、マージモジュールと周波数ガイドアップサンプリングモジュールの2つの新しいモジュールを提案します。マージモジュールは、大きな前景の動きによって引き起こされるゴーストに対処するために、低周波成分に注意メカニズムを適用します。周波数ガイドアップサンプリングモジュールは、複数の周波数固有のコンポーネントから詳細を豊富な詳細で再構築します。さらに、RAWドメインでマルチフレームHDRイメージングアルゴリズムをトレーニングおよび評価するために、新しいRAWデータセットが作成されます。公開データセットとRAWデータセットに対して広範な実験が行われ、提案されたFHDRNetが最先端のパフォーマンスを達成していることが示されています。
High dynamic range (HDR) imaging from multiple low dynamic range (LDR) images has been suffering from ghosting artifacts caused by scene and objects motion. Existing methods, such as optical flow based and end-to-end deep learning based solutions, are error-prone either in detail restoration or ghosting artifacts removal. Comprehensive empirical evidence shows that ghosting artifacts caused by large foreground motion are mainly low-frequency signals and the details are mainly high-frequency signals. In this work, we propose a novel frequency-guided end-to-end deep neural network (FHDRNet) to conduct HDR fusion in the frequency domain, and Discrete Wavelet Transform (DWT) is used to decompose inputs into different frequency bands. The low-frequency signals are used to avoid specific ghosting artifacts, while the high-frequency signals are used for preserving details. Using a U-Net as the backbone, we propose two novel modules: merging module and frequency-guided upsampling module. The merging module applies the attention mechanism to the low-frequency components to deal with the ghost caused by large foreground motion. The frequency-guided upsampling module reconstructs details from multiple frequency-specific components with rich details. In addition, a new RAW dataset is created for training and evaluating multi-frame HDR imaging algorithms in the RAW domain. Extensive experiments are conducted on public datasets and our RAW dataset, showing that the proposed FHDRNet achieves state-of-the-art performance.