arXiv reaDer
高速な神経放射フィールド再構築のためのボリューム フィーチャ レンダリング
Volume Feature Rendering for Fast Neural Radiance Field Reconstruction
Neural Radiance Field (NeRF) は、異なる位置と視点からキャプチャされたマルチビュー画像から現実的な新しいビューを合成できます。 NeRF のレンダリング パイプラインでは、ニューラル ネットワークを使用してシーンを独立して表現したり、クエリされた点の学習可能な特徴ベクトルを期待される色や濃度に変換したりできます。占有グリッドまたは提案ネットワークのジオメトリ ガイドを利用すると、標準ボリューム レンダリング フレームワークでのニューラル ネットワーク評価の数を数百から数十に減らすことができます。ニューラル ネットワークの評価後に生成された色をレンダリングする代わりに、クエリされた光線の特徴ベクトルを最初にレンダリングし、次にレンダリングされた特徴ベクトルをニューラル ネットワークによって最終的なピクセル カラーに変換することを提案します。標準ボリューム レンダリング フレームワークに対するこの根本的な変更では、ピクセルをレンダリングするのに 1 つのニューラル ネットワーク評価のみが必要となり、多数のニューラル ネットワーク評価に起因するレンダリング フレームワークの高い計算の複雑さが大幅に軽減されます。その結果、比較的大規模なニューラル ネットワークを使用して、同じトレーニングとレンダリング時間のコストを維持しながら、より良いレンダリング品質を達成できます。私たちのモデルは、数分のトレーニング時間を必要としながら、合成データセットと現実世界のデータセットの両方で最先端のレンダリング品質を実現します。
Neural radiance fields (NeRFs) are able to synthesize realistic novel views from multi-view images captured from distinct positions and perspectives. In NeRF's rendering pipeline, neural networks are used to represent a scene independently or transform queried learnable feature vector of a point to the expected color or density. With the aid of geometry guides either in occupancy grids or proposal networks, the number of neural network evaluations can be reduced from hundreds to dozens in the standard volume rendering framework. Instead of rendering yielded color after neural network evaluation, we propose to render the queried feature vectors of a ray first and then transform the rendered feature vector to the final pixel color by a neural network. This fundamental change to the standard volume rendering framework requires only one single neural network evaluation to render a pixel, which substantially lowers the high computational complexity of the rendering framework attributed to a large number of neural network evaluations. Consequently, we can use a comparably larger neural network to achieve a better rendering quality while maintaining the same training and rendering time costs. Our model achieves the state-of-the-art rendering quality on both synthetic and real-world datasets while requiring a training time of several minutes.
updated: Mon May 29 2023 06:58:27 GMT+0000 (UTC)
published: Mon May 29 2023 06:58:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト