最近のNeRF(Neural Radiance Fields)の研究では、ニューラルネットワークを使って複雑な3D環境を符号化し、新しい視点からフォトリアリスティックにレンダリングできることが示された。このような画像のレンダリングには非常に多くの計算負荷がかかり、最近の改良では、ハイエンドのハードウェアであっても、インタラクティブな速度を実現する遠い道のりは遠い。我々は、モバイル機器や複合現実感機器でのシナリオに触発され、ハイエンドのコンシューマーGPUで200Hzの高忠実度フォトリアリスティック画像をレンダリングすることができる最初のNeRFベースのシステムであるFastNeRFを提案する。本手法の核となるのは、グラフィックスにインスパイアされた因子分解であり、(i)空間内の各位置における深い輝度マップをコンパクトにキャッシュし、(ii)そのマップを光線方向を用いて効率的に照会し、レンダリングされた画像のピクセル値を推定することができる。大規模な実験の結果、提案手法は、視覚的な品質と拡張性を維持しながら、オリジナルのNeRFアルゴリズムよりも3000倍高速であり、NeRFの高速化に関する既存の研究よりも少なくとも1桁は高速であることがわかった。
Recent work on Neural Radiance Fields (NeRF) showed how neural networks can be used to encode complex 3D environments that can be rendered photorealistically from novel viewpoints. Rendering these images is very computationally demanding and recent improvements are still a long way from enabling interactive rates, even on high-end hardware. Motivated by scenarios on mobile and mixed reality devices, we propose FastNeRF, the first NeRF-based system capable of rendering high fidelity photorealistic images at 200Hz on a high-end consumer GPU. The core of our method is a graphics-inspired factorization that allows for (i) compactly caching a deep radiance map at each position in space, (ii) efficiently querying that map using ray directions to estimate the pixel values in the rendered image. Extensive experiments show that the proposed method is 3000 times faster than the original NeRF algorithm and at least an order of magnitude faster than existing work on accelerating NeRF, while maintaining visual quality and extensibility.