ハイダイナミックレンジニューラルラディアンスフィールド(HDR-NeRF)を提示して、さまざまな露出の低ダイナミックレンジ(LDR)ビューのセットからHDRラディアンスフィールドを復元します。 HDR-NeRFを使用すると、さまざまな露出で新しいHDRビューと新しいLDRビューの両方を生成できます。私たちの方法の鍵は、物理的なイメージングプロセスをモデル化することです。これは、シーンポイントの放射輝度が、放射輝度フィールドとトーンマッパーの2つの陰関数を使用してLDR画像のピクセル値に変換されることを示します。放射輝度フィールドは、シーンの放射輝度(値は0から+ inftyまで変化します)をエンコードします。これは、対応する光線の原点と光線の方向を指定することにより、光線の密度と放射輝度を出力します。トーンマッパーは、カメラセンサーに当たる光線がピクセル値になるマッピングプロセスをモデル化します。光線の色は、放射輝度と対応する露光時間をトーンマッパーに入力することによって予測されます。従来のボリュームレンダリング手法を使用して、出力の放射輝度、色、密度をHDRおよびLDR画像に投影し、入力LDR画像のみを監視として使用します。提案された方法を評価するために、新しい前向きHDRデータセットを収集します。合成シーンと実世界のシーンでの実験結果は、私たちの方法が合成ビューの露出を正確に制御できるだけでなく、高ダイナミックレンジでビューをレンダリングできることを検証しています。
We present High Dynamic Range Neural Radiance Fields (HDR-NeRF) to recover an HDR radiance field from a set of low dynamic range (LDR) views with different exposures. Using the HDR-NeRF, we are able to generate both novel HDR views and novel LDR views under different exposures. The key to our method is to model the physical imaging process, which dictates that the radiance of a scene point transforms to a pixel value in the LDR image with two implicit functions: a radiance field and a tone mapper. The radiance field encodes the scene radiance (values vary from 0 to +infty), which outputs the density and radiance of a ray by giving corresponding ray origin and ray direction. The tone mapper models the mapping process that a ray hitting on the camera sensor becomes a pixel value. The color of the ray is predicted by feeding the radiance and the corresponding exposure time into the tone mapper. We use the classic volume rendering technique to project the output radiance, colors, and densities into HDR and LDR images, while only the input LDR images are used as the supervision. We collect a new forward-facing HDR dataset to evaluate the proposed method. Experimental results on synthetic and real-world scenes validate that our method can not only accurately control the exposures of synthesized views but also render views with a high dynamic range.