arXiv reaDer
PANeRF: 少数ショット入力に基づく改善されたニューラル放射輝度フィールドのための疑似ビュー増強
PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs
近年、神経放射輝度場 (NeRF) の方法が開発されており、この技術には、複雑なシーンの新しいビューを合成するための有望なアプリケーションがあります。ただし、NeRF は、高品質の画像を生成するために、通常は数百に及ぶ高密度の入力ビューを必要とします。入力ビューの数が減少すると、目に見えない視点に対する NeRF のレンダリング品質が大幅に低下する傾向があります。この課題を克服するために、少数ショット入力のジオメトリを考慮して十分な量のデータを拡張するスキームである NeRF の疑似ビュー拡張を提案します。最初に、拡張された疑似ビューを活用して NeRF ネットワークを初期化しました。これにより、目に見えないビューをレンダリングする際の不確実性が効率的に最小限に抑えられます。その後、正確なジオメトリと色情報を含むスパースビュー入力を利用して、ネットワークを微調整しました。さまざまな設定での実験を通じて、モデルが優れた品質のノベルビュー画像を忠実に合成し、マルチビューデータセットの既存の方法よりも優れていることを確認しました。
The method of neural radiance fields (NeRF) has been developed in recent years, and this technology has promising applications for synthesizing novel views of complex scenes. However, NeRF requires dense input views, typically numbering in the hundreds, for generating high-quality images. With a decrease in the number of input views, the rendering quality of NeRF for unseen viewpoints tends to degenerate drastically. To overcome this challenge, we propose pseudo-view augmentation of NeRF, a scheme that expands a sufficient amount of data by considering the geometry of few-shot inputs. We first initialized the NeRF network by leveraging the expanded pseudo-views, which efficiently minimizes uncertainty when rendering unseen views. Subsequently, we fine-tuned the network by utilizing sparse-view inputs containing precise geometry and color information. Through experiments under various settings, we verified that our model faithfully synthesizes novel-view images of superior quality and outperforms existing methods for multi-view datasets.
updated: Wed Nov 23 2022 08:01:10 GMT+0000 (UTC)
published: Wed Nov 23 2022 08:01:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト