arXiv reaDer
リアルタイムビュー合成のためのベーキングニューラルラディアンスフィールド
Baking Neural Radiance Fields for Real-Time View Synthesis
Neural Radiance Fields(NeRF)などのニューラルボリューム表現は、観察されていない視点からシーンの写実的な画像をレンダリングすることを目的として、画像から3Dシーンを表現することを学習するための説得力のある手法として登場しました。ただし、NeRFの計算要件は、リアルタイムアプリケーションでは法外です。トレーニングされたNeRFからビューをレンダリングするには、光線ごとに数百回多層パーセプトロン(MLP)をクエリする必要があります。 NeRFをトレーニングし、それを事前計算して、コモディティハードウェアでのリアルタイムレンダリングを可能にするスパースニューラルラディアンスグリッド(SNeRG)と呼ばれる新しい表現として保存(つまり「ベイク」)する方法を紹介します。これを実現するために、1)NeRFのアーキテクチャの再定式化、および2)学習された特徴ベクトルを使用したスパースボクセルグリッド表現を紹介します。結果として得られるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの機能を保持し、コンパクトで(シーンあたり平均90 MB未満)、リアルタイムでレンダリングできます(ラップトップGPUで毎秒30フレーム以上)。 。実際の画面キャプチャは、ビデオに示されています。
Neural volumetric representations such as Neural Radiance Fields (NeRF) have emerged as a compelling technique for learning to represent 3D scenes from images with the goal of rendering photorealistic images of the scene from unobserved viewpoints. However, NeRF's computational requirements are prohibitive for real-time applications: rendering views from a trained NeRF requires querying a multilayer perceptron (MLP) hundreds of times per ray. We present a method to train a NeRF, then precompute and store (i.e. "bake") it as a novel representation called a Sparse Neural Radiance Grid (SNeRG) that enables real-time rendering on commodity hardware. To achieve this, we introduce 1) a reformulation of NeRF's architecture, and 2) a sparse voxel grid representation with learned feature vectors. The resulting scene representation retains NeRF's ability to render fine geometric details and view-dependent appearance, is compact (averaging less than 90 MB per scene), and can be rendered in real-time (higher than 30 frames per second on a laptop GPU). Actual screen captures are shown in our video.
updated: Fri Mar 26 2021 17:59:52 GMT+0000 (UTC)
published: Fri Mar 26 2021 17:59:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト