ニューラルラディアンスフィールド(NeRF)は、シーンを表現し、写真のようにリアルな画像を合成するための強力なパラダイムとして登場しました。従来のNeRFの主な制限は、トレーニングの視点とは大幅に異なる新しい視点では、高品質のレンダリングを生成できないことが多いことです。この論文では、数ショットの画像合成を利用する代わりに、(1)トレーニング画像がオブジェクトを適切に記述でき、(2)トレーニングとテストの視点の分布の間に顕著な不一致があるという新しいビュー外挿設定を研究します。 。ソリューションとしてRapNeRF(RAy Priors)を紹介します。私たちの洞察は、3Dサーフェスの任意の可視投影の固有の外観は一貫している必要があるということです。したがって、我々は、見えたビューを使用して見えないビューをトレーニングすることを可能にするランダムレイキャスティングポリシーを提案します。さらに、観測された光線の視線方向から事前に計算された光線アトラスが、外挿されたビューのレンダリング品質をさらに向上させる可能性があることを示します。主な制限は、RapNeRFはマルチビューの一貫性プロパティを利用するため、ビューに依存する強力な効果を削除することです。
Neural Radiance Fields (NeRF) have emerged as a potent paradigm for representing scenes and synthesizing photo-realistic images. A main limitation of conventional NeRFs is that they often fail to produce high-quality renderings under novel viewpoints that are significantly different from the training viewpoints. In this paper, instead of exploiting few-shot image synthesis, we study the novel view extrapolation setting that (1) the training images can well describe an object, and (2) there is a notable discrepancy between the training and test viewpoints' distributions. We present RapNeRF (RAy Priors) as a solution. Our insight is that the inherent appearances of a 3D surface's arbitrary visible projections should be consistent. We thus propose a random ray casting policy that allows training unseen views using seen views. Furthermore, we show that a ray atlas pre-computed from the observed rays' viewing directions could further enhance the rendering quality for extrapolated views. A main limitation is that RapNeRF would remove the strong view-dependent effects because it leverages the multi-view consistency property.