ニューラルラディアンスフィールド(NeRF)に関する最近の研究の爆発的増加は、ニューラルネットワークで複雑なシーンを表現するための有望な可能性を示しています。 NeRFの主な欠点の1つは、推論時間が非常に長いことです。単一のピクセルをレンダリングするには、NeRFネットワークに何百回もクエリを実行する必要があります。これを解決するために、既存の取り組みは主に必要なサンプリングポイントの数を減らすことを試みています。ただし、反復サンプリングの問題は依然として存在します。一方、Neural Light Field(NeLF)は、新しいビュー合成でNeRFよりも簡単な表現を提供します。つまり、ピクセルのレンダリングは、レイマーチングなしで1回のフォワードパスになります。この作業では、ライトフィールドを効果的に学習するための深い残余MLPネットワーク(88層)を提示します。このような深いNeLFネットワークをうまく学習するための鍵は、十分なデータを取得することです。そのために、事前にトレーニングされたNeRFモデルからデータ蒸留を介して知識を転送します。合成シーンと実世界のシーンの両方での広範な実験は、他の対応するアルゴリズムに対する私たちの方法のメリットを示しています。合成シーンでは、26〜35倍のFLOP削減(カメラ光線あたり)と28〜31倍のランタイムスピードアップを実現し、同時に、カスタマイズされた実装トリックなしで、NeRFよりも大幅に優れた(1.4〜2.8 dBの平均PSNR改善)レンダリング品質を実現します。
Recent research explosion on Neural Radiance Field (NeRF) shows the encouraging potential to represent complex scenes with neural networks. One major drawback of NeRF is its prohibitive inference time: Rendering a single pixel requires querying the NeRF network hundreds of times. To resolve it, existing efforts mainly attempt to reduce the number of required sampled points. However, the problem of iterative sampling still exists. On the other hand, Neural Light Field (NeLF) presents a more straightforward representation over NeRF in novel view synthesis -- the rendering of a pixel amounts to one single forward pass without ray-marching. In this work, we present a deep residual MLP network (88 layers) to effectively learn the light field. We show the key to successfully learning such a deep NeLF network is to have sufficient data, for which we transfer the knowledge from a pre-trained NeRF model via data distillation. Extensive experiments on both synthetic and real-world scenes show the merits of our method over other counterpart algorithms. On the synthetic scenes, we achieve 26-35x FLOPs reduction (per camera ray) and 28-31x runtime speedup, meanwhile delivering significantly better (1.4-2.8 dB average PSNR improvement) rendering quality than NeRF without any customized implementation tricks.