arXiv reaDer
VDN-NeRF: ビュー依存性正規化による形状放射のあいまいさの解決
VDN-NeRF: Resolving Shape-Radiance Ambiguity via View-Dependence Normalization
VDN-NeRF を提案します。これは、さまざまな角度から見たときにポイントの放射輝度に大きな変動を引き起こす非ランバート サーフェスおよび動的照明条件の下でより良いジオメトリを実現するために、神経放射輝度場 (NeRF) をトレーニングする方法です。複雑ではあるが包括的ではない可能性のあるビュー依存現象を引き起こす根本的な要因を明示的にモデル化する代わりに、学習した NeRF に既にエンコードされている不変情報を抽出することにより、ビュー依存を正規化するシンプルで効果的な手法を開発します。次に、ビュー依存性正規化を使用したビュー合成のために NeRF を共同でトレーニングし、高品質のジオメトリを実現します。私たちの実験は、形状と放射輝度のあいまいさが避けられない場合でも、提案された正規化がジオメトリへの影響を最小限に抑えることができることを示しています。これにより、ビュー依存の変動を説明するために必要な最適な容量が本質的に調整されます。私たちの方法はさまざまなベースラインに適用され、移動する光源の下でデータがキャプチャされた場合でも、ボリューム レンダリング パイプラインを変更することなくジオメトリを大幅に改善します。コードは https://github.com/BoifZ/VDN-NeRF で入手できます。
We propose VDN-NeRF, a method to train neural radiance fields (NeRFs) for better geometry under non-Lambertian surface and dynamic lighting conditions that cause significant variation in the radiance of a point when viewed from different angles. Instead of explicitly modeling the underlying factors that result in the view-dependent phenomenon, which could be complex yet not inclusive, we develop a simple and effective technique that normalizes the view-dependence by distilling invariant information already encoded in the learned NeRFs. We then jointly train NeRFs for view synthesis with view-dependence normalization to attain quality geometry. Our experiments show that even though shape-radiance ambiguity is inevitable, the proposed normalization can minimize its effect on geometry, which essentially aligns the optimal capacity needed for explaining view-dependent variations. Our method applies to various baselines and significantly improves geometry without changing the volume rendering pipeline, even if the data is captured under a moving light source. Code is available at: https://github.com/BoifZ/VDN-NeRF.
updated: Fri Mar 31 2023 11:13:17 GMT+0000 (UTC)
published: Fri Mar 31 2023 11:13:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト