arXiv reaDer
NeRFReN:反射を伴うニューラル放射輝度フィールド
NeRFReN: Neural Radiance Fields with Reflections
Neural Radiance Fields(NeRF)は、座標ベースのニューラルシーン表現を使用して、前例のないビュー合成品質を実現しました。ただし、NeRFのビュー依存関係は、ハイライトなどの単純な反射のみを処理でき、ガラスやミラーなどの複雑な反射は処理できません。これらのシナリオでは、NeRFは仮想画像を実際のジオメトリとしてモデル化し、不正確な深度推定につながり、反射されたオブジェクトは一部の視点でしか表示されない可能性があるため、マルチビューの一貫性に違反するとぼやけたレンダリングを生成します。これらの問題を克服するために、反射のあるシーンをモデル化するためにNeRF上に構築されたNeRFReNを紹介します。具体的には、シーンを透過成分と反射成分に分割し、2つの成分を別々の神経放射輝度フィールドでモデル化することを提案します。この分解は非常に制約が少ないことを考慮して、幾何学的事前確率を活用し、慎重に設計されたトレーニング戦略を適用して、合理的な分解結果を達成します。さまざまな自己キャプチャシーンでの実験は、私たちの方法がシーン編集アプリケーションを可能にしながら、高品質の新しいビュー合成と物理的に音の深さの推定結果を達成することを示しています。
Neural Radiance Fields (NeRF) has achieved unprecedented view synthesis quality using coordinate-based neural scene representations. However, NeRF's view dependency can only handle simple reflections like highlights but cannot deal with complex reflections such as those from glass and mirrors. In these scenarios, NeRF models the virtual image as real geometries which leads to inaccurate depth estimation, and produces blurry renderings when the multi-view consistency is violated as the reflected objects may only be seen under some of the viewpoints. To overcome these issues, we introduce NeRFReN, which is built upon NeRF to model scenes with reflections. Specifically, we propose to split a scene into transmitted and reflected components, and model the two components with separate neural radiance fields. Considering that this decomposition is highly under-constrained, we exploit geometric priors and apply carefully-designed training strategies to achieve reasonable decomposition results. Experiments on various self-captured scenes show that our method achieves high-quality novel view synthesis and physically sound depth estimation results while enabling scene editing applications.
updated: Wed Apr 06 2022 16:59:06 GMT+0000 (UTC)
published: Tue Nov 30 2021 09:36:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト