arXiv reaDer
HDRUNet:ノイズ除去と非量子化を使用した単一画像HDR再構成
HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization
ほとんどの民生用デジタルカメラは、センサーの制約により、実際のシーンで限られた範囲の輝度しかキャプチャできません。その上、ノイズと量子化エラーはしばしばイメージングプロセスで導入されます。優れた視覚品質を備えたハイダイナミックレンジ(HDR)画像を取得するための最も一般的な解決策は、露出の異なる複数の画像を組み合わせることです。ただし、同じシーンの複数の画像を取得することが常に実行可能であるとは限らず、ほとんどのHDR再構成方法はノイズと量子化損失を無視します。この作業では、空間的に動的なエンコーダ-デコーダネットワーク、HDRUNetを使用して、ノイズ除去と非量子化を使用した単一画像HDR再構成のエンドツーエンドマッピングを学習する、新しい学習ベースのアプローチを提案します。このネットワークは、階層的なマルチスケール情報を最大限に活用するためのUNetスタイルのベースネットワーク、パターン固有の変調を実行するための条件ネットワーク、および情報を選択的に保持するための重み付けネットワークで構成されています。さらに、ネットワーク学習に対する過度に露出された値と十分に露出された値の影響のバランスをとるために、Tanh_L1損失関数を提案します。私たちの方法は、定量的な比較と視覚的な品質で最先端のパフォーマンスを実現します。提案されたHDRUNetモデルは、NITRE2021ハイダイナミックレンジチャレンジのシングルフレームトラックで2位を獲得しました。
Most consumer-grade digital cameras can only capture a limited range of luminance in real-world scenes due to sensor constraints. Besides, noise and quantization errors are often introduced in the imaging process. In order to obtain high dynamic range (HDR) images with excellent visual quality, the most common solution is to combine multiple images with different exposures. However, it is not always feasible to obtain multiple images of the same scene and most HDR reconstruction methods ignore the noise and quantization loss. In this work, we propose a novel learning-based approach using a spatially dynamic encoder-decoder network, HDRUNet, to learn an end-to-end mapping for single image HDR reconstruction with denoising and dequantization. The network consists of a UNet-style base network to make full use of the hierarchical multi-scale information, a condition network to perform pattern-specific modulation and a weighting network for selectively retaining information. Moreover, we propose a Tanh_L1 loss function to balance the impact of over-exposed values and well-exposed values on the network learning. Our method achieves the state-of-the-art performance in quantitative comparisons and visual quality. The proposed HDRUNet model won the second place in the single frame track of NITRE2021 High Dynamic Range Challenge.
updated: Sat Jun 19 2021 09:47:12 GMT+0000 (UTC)
published: Thu May 27 2021 12:12:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト