2D画像のセットのみからの新規ビュー合成(NVS)の問題を考慮して、既知または事前に計算されたカメラパラメータの要件を削除することにより、前向きシーンでのニューラルラディアンスフィールド(NeRF)のトレーニングプロセスを簡素化します。組み込み関数と6DoFポーズ。この目的のために、3つの貢献でNeRF--を提案します。最初に、カメラパラメータが、測光再構成を通じて、NeRFトレーニングを使用して学習可能なパラメータとして共同で最適化できることを示します。次に、カメラパラメータの推定と新しいビューレンダリングの品質をベンチマークするために、Blender Forward-Facing Dataset(BLEFF)と呼ばれるパストレース合成シーンの新しいデータセットを導入します。第三に、さまざまなカメラの動きの下でのトレーニング動作を理解するために広範な分析を行い、ほとんどのシナリオで、共同最適化パイプラインが正確なカメラパラメータを回復し、COLMAPで事前に計算されたカメラパラメータでトレーニングされたものと同等の新しいビュー合成品質を達成できることを示します。私たちのコードとデータはhttps://nerfmm.active.visionで入手できます。
Considering the problem of novel view synthesis (NVS) from only a set of 2D images, we simplify the training process of Neural Radiance Field (NeRF) on forward-facing scenes by removing the requirement of known or pre-computed camera parameters, including both intrinsics and 6DoF poses. To this end, we propose NeRF--, with three contributions: First, we show that the camera parameters can be jointly optimised as learnable parameters with NeRF training, through a photometric reconstruction; Second, to benchmark the camera parameter estimation and the quality of novel view renderings, we introduce a new dataset of path-traced synthetic scenes, termed as Blender Forward-Facing Dataset (BLEFF); Third, we conduct extensive analyses to understand the training behaviours under various camera motions, and show that in most scenarios, the joint optimisation pipeline can recover accurate camera parameters and achieve comparable novel view synthesis quality as those trained with COLMAP pre-computed camera parameters. Our code and data are available at https://nerfmm.active.vision.