暗黙のニューラルネットワークを使用したニューラルレンダリングは、シーン再構築の魅力的な提案として最近浮上しており、高い計算コストではありますが、優れた品質を実現しています。このようなメソッドの最新世代は、レンダリング(推論)時間の進歩を遂げましたが、再構成(トレーニング)時間の改善はほとんど進歩していません。この作業では、ハイブリッドの明示的-暗黙的神経表現を直接トレーニングすることに基づく最初の神経レンダリング方法である神経適応シーントレース(NAScenT)を紹介します。 NAScenTは、リーフノードごとに1つのニューラルネットワークを持つ階層的な八分木表現を使用し、この表現を2段階のサンプリングプロセスと組み合わせて、オブジェクトの表面に最も近い場所に光線サンプルを集中させます。その結果、NAScenTは、UAVでキャプチャされた屋外環境のように人口がまばらな大規模なボリュームと、幾何学的複雑性の高い小さなシーンの両方を含む、やりがいのあるシーンを再構築できます。 NAScenTは、品質とトレーニング時間の両方の点で、既存のニューラルレンダリングアプローチよりも優れています。
Neural rendering with implicit neural networks has recently emerged as an attractive proposition for scene reconstruction, achieving excellent quality albeit at high computational cost. While the most recent generation of such methods has made progress on the rendering (inference) times, very little progress has been made on improving the reconstruction (training) times. In this work, we present Neural Adaptive Scene Tracing (NAScenT), the first neural rendering method based on directly training a hybrid explicit-implicit neural representation. NAScenT uses a hierarchical octree representation with one neural network per leaf node and combines this representation with a two-stage sampling process that concentrates ray samples where they matter most near object surfaces. As a result, NAScenT is capable of reconstructing challenging scenes including both large, sparsely populated volumes like UAV captured outdoor environments, as well as small scenes with high geometric complexity. NAScenT outperforms existing neural rendering approaches in terms of both quality and training time.