arXiv reaDer
VM-NeRF: ビュー モーフィングによる NeRF のスパーシティへの取り組み
VM-NeRF: Tackling Sparsity in NeRF with View Morphing
NeRF は、さまざまな視点から撮影された入力画像の有限セットを使用して、連続的なニューラル シーン表現を学習することを目的としています。 NeRF 手法のよく知られた制限は、データへの依存です。視点が少ないほど、過剰適合の可能性が高くなります。この論文では、ビュー モーフィングを使用して視点間で幾何学的に一貫した画像遷移を生成する新しい方法を導入することで、この問題に対処します。ビュー モーフィングは射影ジオメトリの基本原理に基づいているため、VM-NeRF アプローチではシーン構造に関する事前知識は必要ありません。 VM-NeRF は、標準 NeRF アプローチのトレーニング手順中にこの幾何学的ビュー生成プロセスを緊密に統合します。特に、私たちの方法は、特に少数のビューしか利用できない場合に、新規ビューの合成を大幅に改善します。実験による評価では、NeRF モデルでまばらな視点を処理する現在の方法と比較して、一貫した改善が見られます。トレーニングで 8 ビューと 4 ビューを使用した場合、それぞれ最大 1.8 dB と 1.0 dB の PSNR の増加が報告されています。ソースコード: https://github.com/mbortolon97/VM-NeRF
NeRF aims to learn a continuous neural scene representation by using a finite set of input images taken from various viewpoints. A well-known limitation of NeRF methods is their reliance on data: the fewer the viewpoints, the higher the likelihood of overfitting. This paper addresses this issue by introducing a novel method to generate geometrically consistent image transitions between viewpoints using View Morphing. Our VM-NeRF approach requires no prior knowledge about the scene structure, as View Morphing is based on the fundamental principles of projective geometry. VM-NeRF tightly integrates this geometric view generation process during the training procedure of standard NeRF approaches. Notably, our method significantly improves novel view synthesis, particularly when only a few views are available. Experimental evaluation reveals consistent improvement over current methods that handle sparse viewpoints in NeRF models. We report an increase in PSNR of up to 1.8dB and 1.0dB when training uses eight and four views, respectively. Source code: https://github.com/mbortolon97/VM-NeRF
updated: Wed Aug 16 2023 08:55:29 GMT+0000 (UTC)
published: Sun Oct 09 2022 09:59:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト