ニューラルラディアンスフィールド(NeRF)などのニューラルシーン表現は、既知のポーズのカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいています。現在、ますます多くのデバイスがRGB-D情報を生成します。これは、幅広いタスクにとって非常に重要であることが示されています。したがって、この論文の目的は、カラー画像に深度情報を組み込むことによって、これらの有望な暗黙の表現にどのような改善を加えることができるかを調査することです。特に、最近提案されたMip-NeRFアプローチは、ボリュームレンダリングに光線の代わりに円錐台を使用するため、カメラの中心からの距離に応じてピクセルのさまざまな領域を考慮することができます。提案された方法は、深さの不確実性をさらにモデル化します。これにより、ジオメトリの精度の向上、アーティファクトの削減、トレーニング時間の短縮、予測時間の短縮など、NeRFベースのアプローチの主な制限に対処できます。実験はよく知られたベンチマークシーンで実行され、比較により、トレーニング時間を3〜5倍短縮しながら、シーンジオメトリとフォトメトリック再構成の精度が向上することが示されています。
Neural scene representations, such as neural radiance fields (NeRF), are based on training a multilayer perceptron (MLP) using a set of color images with known poses. An increasing number of devices now produce RGB-D information, which has been shown to be very important for a wide range of tasks. Therefore, the aim of this paper is to investigate what improvements can be made to these promising implicit representations by incorporating depth information with the color images. In particular, the recently proposed Mip-NeRF approach, which uses conical frustums instead of rays for volume rendering, allows one to account for the varying area of a pixel with distance from the camera center. The proposed method additionally models depth uncertainty. This allows to address major limitations of NeRF-based approaches including improving the accuracy of geometry, reduced artifacts, faster training time, and shortened prediction time. Experiments are performed on well-known benchmark scenes, and comparisons show improved accuracy in scene geometry and photometric reconstruction, while reducing the training time by 3 - 5 times.