ビューに依存する効果をサポートする八分木ベースの3D表現であるPlenOctreesを使用して、ニューラル放射輝度フィールド(NeRF)をリアルタイムでレンダリングする方法を紹介します。私たちの方法では、800x800の画像を150 FPS以上でレンダリングできます。これは、従来のNeRFよりも3000倍以上高速です。これは、品質を犠牲にすることなく、任意のジオメトリとビューに依存する効果を持つシーンの自由な視点のレンダリングを実行するNeRFの機能を維持しながら行います。リアルタイムのパフォーマンスは、NeRFをPlenOctreeに事前に集計することで実現されます。鏡面反射性などのビューに依存する効果を保持するために、閉形式の球面テンソル関数を介して外観を因数分解します。具体的には、NeRFをトレーニングして、放射輝度の球面調和関数表現を予測し、ニューラルネットワークへの入力としての視線方向を削除できることを示します。さらに、PlenOctreesを直接最適化して、再構築の損失をさらに最小限に抑えることができることを示します。これにより、競合する方法と比較して同等以上の品質が得られます。さらに、このoctree最適化ステップを使用すると、NeRFトレーニングが完全に収束するのを待つ必要がなくなるため、トレーニング時間を短縮できます。私たちのリアルタイムニューラルレンダリングアプローチは、6-DOF産業および製品の視覚化、ならびに次世代AR / VRシステムなどの新しいアプリケーションを可能にする可能性があります。 PlenOctreesは、ブラウザー内レンダリングにも適しています。インタラクティブなオンラインデモ、およびビデオとコードについては、プロジェクトページにアクセスしてください:https://alexyu.net/plenoctrees
We introduce a method to render Neural Radiance Fields (NeRFs) in real time using PlenOctrees, an octree-based 3D representation which supports view-dependent effects. Our method can render 800x800 images at more than 150 FPS, which is over 3000 times faster than conventional NeRFs. We do so without sacrificing quality while preserving the ability of NeRFs to perform free-viewpoint rendering of scenes with arbitrary geometry and view-dependent effects. Real-time performance is achieved by pre-tabulating the NeRF into a PlenOctree. In order to preserve view-dependent effects such as specularities, we factorize the appearance via closed-form spherical basis functions. Specifically, we show that it is possible to train NeRFs to predict a spherical harmonic representation of radiance, removing the viewing direction as an input to the neural network. Furthermore, we show that PlenOctrees can be directly optimized to further minimize the reconstruction loss, which leads to equal or better quality compared to competing methods. Moreover, this octree optimization step can be used to reduce the training time, as we no longer need to wait for the NeRF training to converge fully. Our real-time neural rendering approach may potentially enable new applications such as 6-DOF industrial and product visualizations, as well as next generation AR/VR systems. PlenOctrees are amenable to in-browser rendering as well; please visit the project page for the interactive online demo, as well as video and code: https://alexyu.net/plenoctrees