神経放射輝度フィールドに基づく一般化可能なフォトリアリスティックな新しいビュー合成方法であるGeoNeRFを紹介します。私たちのアプローチは、ジオメトリ推論とレンダラーの2つの主要な段階で構成されています。新しいビューをレンダリングするために、ジオメトリ推論システムは最初に、近くのソースビューごとにカスケードされたコストボリュームを構築します。次に、Transformerベースのアテンションメカニズムとカスケードされたコストボリュームを使用して、レンダラーはジオメトリと外観を推測し、従来のボリュームレンダリング技術を介して詳細な画像をレンダリングします。特にこのアーキテクチャでは、一貫したソースビューから情報を収集し、高度なオクルージョン推論が可能です。さらに、私たちの方法は単一のシーンで簡単に微調整でき、計算コストのほんの一部でシーンごとに最適化されたニューラルレンダリング方法で競争力のある結果をレンダリングします。実験によると、GeoNeRFは、さまざまな合成データセットおよび実際のデータセットで、最先端の一般化可能なニューラルレンダリングモデルよりも優れています。最後に、ジオメトリ推論機能にわずかな変更を加えて、RGBD画像に適応する代替モデルも提案します。このモデルは、深度センサーのおかげでしばしば利用可能な深度情報を直接利用します。実装コードは公開されます。
We present GeoNeRF, a generalizable photorealistic novel view synthesis method based on neural radiance fields. Our approach consists of two main stages: a geometry reasoner and a renderer. To render a novel view, the geometry reasoner first constructs cascaded cost volumes for each nearby source view. Then, using a Transformer-based attention mechanism and the cascaded cost volumes, the renderer infers geometry and appearance, and renders detailed images via classical volume rendering techniques. This architecture, in particular, allows sophisticated occlusion reasoning, gathering information from consistent source views. Moreover, our method can easily be fine-tuned on a single scene, and renders competitive results with per-scene optimized neural rendering methods with a fraction of computational cost. Experiments show that GeoNeRF outperforms state-of-the-art generalizable neural rendering models on various synthetic and real datasets. Lastly, with a slight modification to the geometry reasoner, we also propose an alternative model that adapts to RGBD images. This model directly exploits the depth information often available thanks to depth sensors. The implementation code will be publicly available.