arXiv reaDer
暗闇の中でのNeRF:ノイズの多い生画像からのハイダイナミックレンジビュー合成
NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images
Neural Radiance Fields(NeRF)は、ポーズをとった入力画像のコレクションから高品質の新しいビューを合成するための手法です。ほとんどのビュー合成方法と同様に、NeRFは入力としてトーンマップ低ダイナミックレンジ(LDR)を使用します。これらの画像は、詳細を滑らかにし、ハイライトをクリップし、生のセンサーデータの単純なノイズ分布を歪める損失の多いカメラパイプラインによって処理されています。 NeRFを変更して、代わりに線形の生画像を直接トレーニングし、シーンのダイナミックレンジ全体を維持します。結果のNeRFから生の出力画像をレンダリングすることにより、新しいハイダイナミックレンジ(HDR)ビュー合成タスクを実行できます。カメラの視点を変更するだけでなく、事後にフォーカス、露出、トーンマッピングを操作することもできます。単一の生画像は後処理された画像よりもかなりノイズが多いように見えますが、NeRFは生ノイズのゼロ平均分布に対して非常にロバストであることを示しています。 NeRFは、多くのノイズの多いraw入力(25〜200)で最適化されると、非常に正確なシーン表現を生成するため、レンダリングされた新しいビューは、同じワイドベースライン入力画像で実行される専用のシングルおよびマルチイメージのディープrawデノイザーよりも優れています。その結果、RawNeRFと呼ばれるこの方法では、暗闇の中でキャプチャされた非常にノイズの多い画像からシーンを再構築できます。
Neural Radiance Fields (NeRF) is a technique for high quality novel view synthesis from a collection of posed input images. Like most view synthesis methods, NeRF uses tonemapped low dynamic range (LDR) as input; these images have been processed by a lossy camera pipeline that smooths detail, clips highlights, and distorts the simple noise distribution of raw sensor data. We modify NeRF to instead train directly on linear raw images, preserving the scene's full dynamic range. By rendering raw output images from the resulting NeRF, we can perform novel high dynamic range (HDR) view synthesis tasks. In addition to changing the camera viewpoint, we can manipulate focus, exposure, and tonemapping after the fact. Although a single raw image appears significantly more noisy than a postprocessed one, we show that NeRF is highly robust to the zero-mean distribution of raw noise. When optimized over many noisy raw inputs (25-200), NeRF produces a scene representation so accurate that its rendered novel views outperform dedicated single and multi-image deep raw denoisers run on the same wide baseline input images. As a result, our method, which we call RawNeRF, can reconstruct scenes from extremely noisy images captured in near-darkness.
updated: Fri Nov 26 2021 18:59:47 GMT+0000 (UTC)
published: Fri Nov 26 2021 18:59:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト