arXiv reaDer
MobileNeRF: モバイル アーキテクチャでの効率的なニューラル フィールド レンダリングのためのポリゴン ラスタライゼーション パイプラインの活用
MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures
Neural Radiance Fields (NeRF) は、斬新なビューから 3D シーンの画像を合成する驚くべき能力を実証しました。ただし、それらはレイ マーチングに基づく特殊なボリューム レンダリング アルゴリズムに依存しており、広く展開されているグラフィックス ハードウェアの機能とは一致していません。このペーパーでは、標準のレンダリング パイプラインを使用して新しい画像を効率的に合成できるテクスチャ ポリゴンに基づく新しい NeRF 表現を紹介します。 NeRF は、バイナリの不透明度と特徴ベクトルを表すテクスチャを持つ一連のポリゴンとして表されます。 Z バッファを使用したポリゴンの従来のレンダリングでは、すべてのピクセルに特徴を持つ画像が生成されます。これは、フラグメント シェーダで実行される小さなビュー依存 MLP によって解釈され、最終的なピクセル カラーを生成します。このアプローチにより、従来のポリゴン ラスタライゼーション パイプラインを使用して NeRF をレンダリングできます。これにより、大規模なピクセル レベルの並列処理が提供され、携帯電話を含む幅広いコンピューティング プラットフォームでインタラクティブなフレーム レートが実現されます。
Neural Radiance Fields (NeRFs) have demonstrated amazing ability to synthesize images of 3D scenes from novel views. However, they rely upon specialized volumetric rendering algorithms based on ray marching that are mismatched to the capabilities of widely deployed graphics hardware. This paper introduces a new NeRF representation based on textured polygons that can synthesize novel images efficiently with standard rendering pipelines. The NeRF is represented as a set of polygons with textures representing binary opacities and feature vectors. Traditional rendering of the polygons with a z-buffer yields an image with features at every pixel, which are interpreted by a small, view-dependent MLP running in a fragment shader to produce a final pixel color. This approach enables NeRFs to be rendered with the traditional polygon rasterization pipeline, which provides massive pixel-level parallelism, achieving interactive frame rates on a wide range of compute platforms, including mobile phones.
updated: Sat Nov 19 2022 03:13:33 GMT+0000 (UTC)
published: Sat Jul 30 2022 17:14:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト