Neural Radiance Field(NeRF)法など、一連の画像から学習した暗黙の連続形状表現を使用したビュー合成法は、高品質の画像と高解像度への拡張性により、ますます注目を集めています。ただし、そのボリュームアプローチに必要な重い計算は、NeRFが実際に役立つことを妨げます。数メガピクセルの単一画像をレンダリングするのに数分かかります。これで、シーンの画像を詳細レベルでレンダリングできるため、シーンの複雑な領域は大きなニューラルネットワークで表す必要があり、小さなニューラルネットワークは単純な領域をエンコードできると考えられます。効率と品質のバランスをとることができます。 Recursive-NeRFは、このアイデアの具体化であり、NeRFに効率的で適応性のあるレンダリングおよびトレーニングアプローチを提供します。 Recursive-NeRFのコアは、クエリ座標の不確実性を学習し、各レベルで予測される色と体積強度の品質を表します。不確実性の高いクエリ座標のみが、より強力な表現機能を備えたより大きなニューラルネットワークの次のレベルに転送されます。最終的にレンダリングされる画像は、すべてのレベルのニューラルネットワークからの結果の合成です。 3つの公開データセットに対する評価では、Recursive-NeRFはNeRFよりも効率的でありながら、最先端の品質を提供していることが示されています。コードはhttps://github.com/Gword/Recursive-NeRFで入手できます。
View synthesis methods using implicit continuous shape representations learned from a set of images, such as the Neural Radiance Field (NeRF) method, have gained increasing attention due to their high quality imagery and scalability to high resolution. However, the heavy computation required by its volumetric approach prevents NeRF from being useful in practice; minutes are taken to render a single image of a few megapixels. Now, an image of a scene can be rendered in a level-of-detail manner, so we posit that a complicated region of the scene should be represented by a large neural network while a small neural network is capable of encoding a simple region, enabling a balance between efficiency and quality. Recursive-NeRF is our embodiment of this idea, providing an efficient and adaptive rendering and training approach for NeRF. The core of Recursive-NeRF learns uncertainties for query coordinates, representing the quality of the predicted color and volumetric intensity at each level. Only query coordinates with high uncertainties are forwarded to the next level to a bigger neural network with a more powerful representational capability. The final rendered image is a composition of results from neural networks of all levels. Our evaluation on three public datasets shows that Recursive-NeRF is more efficient than NeRF while providing state-of-the-art quality. The code will be available at https://github.com/Gword/Recursive-NeRF.