ニューラルラディアンスフィールド(NeRF)は、最先端のビュー合成結果を生成します。ただし、レンダリングには時間がかかり、ボリュームレンダリング積分を概算するには、ピクセルごとに数百のネットワーク評価が必要です。 NeRFを明示的なデータ構造にベイク処理すると、効率的なレンダリングが可能になりますが、メモリフットプリントが大幅に増加し、多くの場合、品質が低下します。この論文では、対照的に、コンパクトで光線に沿った統合放射輝度を直接予測する新しいニューラルライトフィールド表現を提案します。私たちの方法は、小さなベースラインライトフィールドデータセットのピクセルごとに単一のネットワーク評価でレンダリングをサポートし、ピクセルごとにわずかな評価でより大きなベースラインに適用することもできます。私たちのアプローチの中核は、4D光線空間多様体を中間の補間可能な潜在空間にマッピングする光線空間埋め込みネットワークです。私たちの方法は、スタンフォードライトフィールドデータセットなどの高密度の前向きデータセットで最先端の品質を実現します。さらに、入力がまばらな前向きのシーンでは、品質の点でNeRFベースのアプローチと競合する結果を達成すると同時に、ネットワーク評価を大幅に減らして速度/品質/メモリのトレードオフを向上させます。
Neural radiance fields (NeRFs) produce state-of-the-art view synthesis results. However, they are slow to render, requiring hundreds of network evaluations per pixel to approximate a volume rendering integral. Baking NeRFs into explicit data structures enables efficient rendering, but results in a large increase in memory footprint and, in many cases, a quality reduction. In this paper, we propose a novel neural light field representation that, in contrast, is compact and directly predicts integrated radiance along rays. Our method supports rendering with a single network evaluation per pixel for small baseline light field datasets and can also be applied to larger baselines with only a few evaluations per pixel. At the core of our approach is a ray-space embedding network that maps the 4D ray-space manifold into an intermediate, interpolable latent space. Our method achieves state-of-the-art quality on dense forward-facing datasets such as the Stanford Light Field dataset. In addition, for forward-facing scenes with sparser inputs we achieve results that are competitive with NeRF-based approaches in terms of quality while providing a better speed/quality/memory trade-off with far fewer network evaluations.