arXiv reaDer
Re-ReND: デバイス間での NeRF のリアルタイム レンダリング
Re-ReND: Real-time Rendering of NeRFs across Devices
このペーパーでは、リソースに制約のあるデバイスで、事前トレーニング済みのニューラル ラディアンス フィールド (NeRF) をリアルタイムでレンダリングするための新しいアプローチを提案します。デバイス間で NeRF のリアルタイム レンダリングを可能にする方法である Re-ReND を紹介します。 Re-ReND は、NeRF を標準グラフィックス パイプラインで効率的に処理できる表現に変換することで、リアルタイム パフォーマンスを実現するように設計されています。提案された方法は、学習された密度をメッシュに抽出することによって NeRF を抽出し、学習された色情報はシーンのライト フィールドを表す一連の行列に分解されます。因数分解は、安価な MLP を使用しない行列乗算を介してフィールドがクエリされることを意味しますが、ライト フィールドを使用すると、フィールドを 1 回クエリするだけでピクセルをレンダリングできます。これは、放射輝度フィールドを使用する場合の数百回のクエリとは対照的です。提案された表現はフラグメント シェーダーを使用して実装できるため、標準のラスター化フレームワークと直接統合できます。当社の柔軟な実装により、メモリ要件が低く、モバイルや AR/VR ヘッドセットなど、リソースに制約のあるさまざまなデバイスで NeRF をリアルタイムでレンダリングできます。特に、Re-ReND は、品質を著しく低下させることなく、最新技術と比較してレンダリング速度を 2.6 倍以上向上させることができることがわかりました。
This paper proposes a novel approach for rendering a pre-trained Neural Radiance Field (NeRF) in real-time on resource-constrained devices. We introduce Re-ReND, a method enabling Real-time Rendering of NeRFs across Devices. Re-ReND is designed to achieve real-time performance by converting the NeRF into a representation that can be efficiently processed by standard graphics pipelines. The proposed method distills the NeRF by extracting the learned density into a mesh, while the learned color information is factorized into a set of matrices that represent the scene's light field. Factorization implies the field is queried via inexpensive MLP-free matrix multiplications, while using a light field allows rendering a pixel by querying the field a single time-as opposed to hundreds of queries when employing a radiance field. Since the proposed representation can be implemented using a fragment shader, it can be directly integrated with standard rasterization frameworks. Our flexible implementation can render a NeRF in real-time with low memory requirements and on a wide range of resource-constrained devices, including mobiles and AR/VR headsets. Notably, we find that Re-ReND can achieve over a 2.6-fold increase in rendering speed versus the state-of-the-art without perceptible losses in quality.
updated: Wed Mar 15 2023 15:59:41 GMT+0000 (UTC)
published: Wed Mar 15 2023 15:59:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト