Neural Radiance Fields(NeRF)は、座標ベースのニューラルシーン表現を使用して、前例のないビュー合成品質を実現しました。ただし、NeRFのビューの依存関係は、ハイライトなどの単純な反射のみを処理でき、ガラスや鏡からの反射などの複雑な反射は処理できません。これらのシナリオでは、NeRFは仮想画像を実際のジオメトリとしてモデル化し、深度推定が不正確になり、反射されたオブジェクトは一部の視点でしか表示されない可能性があるため、マルチビューの一貫性に違反するとレンダリングがぼやけます。これらの問題を克服するために、NeRF上に構築されたNeRFReNを導入して、反射のあるシーンをモデル化します。具体的には、シーンを透過成分と反射成分に分割し、2つの成分を別々の神経放射輝度フィールドでモデル化することを提案します。この分解は非常に制約が少ないことを考慮して、幾何学的事前確率を活用し、慎重に設計されたトレーニング戦略を適用して、合理的な分解結果を達成します。さまざまな自己キャプチャシーンでの実験により、私たちの方法は、シーン編集アプリケーションを可能にしながら、高品質の新しいビュー合成と物理的に音の深さの推定結果を達成することが示されています。コードとデータが公開されます。
Neural Radiance Fields (NeRF) has achieved unprecedented view synthesis quality using coordinate-based neural scene representations. However, NeRF's view dependency can only handle simple reflections like highlights but cannot deal with complex reflections such as those from glass and mirrors. In these scenarios, NeRF models the virtual image as real geometries which leads to inaccurate depth estimation, and produces blurry renderings when the multi-view consistency is violated as the reflected objects may only be seen under some of the viewpoints. To overcome these issues, we introduce NeRFReN, which is built upon NeRF to model scenes with reflections. Specifically, we propose to split a scene into transmitted and reflected components, and model the two components with separate neural radiance fields. Considering that this decomposition is highly under-constrained, we exploit geometric priors and apply carefully-designed training strategies to achieve reasonable decomposition results. Experiments on various self-captured scenes show that our method achieves high-quality novel view synthesis and physically sound depth estimation results while enabling scene editing applications. Code and data will be released.