全方向性神経放射輝度フィールド(OmniNeRF)、視差対応の新しいパノラマビュー合成のアプリケーションへの最初の方法を提示します。新規ビュー合成の最近の研究は、限られた視野の遠近法画像に焦点を合わせており、特定の条件でキャプチャされた十分な画像を必要とします。逆に、OmniNeRFは、トレーニングデータとして単一の正距円筒図法を指定すると、未知の視点のパノラマ画像を生成できます。この目的のために、3D世界とさまざまな仮想カメラ位置でのさまざまな2Dパノラマ座標の間を前後に投影することにより、単一のRGB-Dパノラマを拡張することを提案します。そうすることで、さまざまなカメラ位置からの新しい視角を推定するために、固定された中心で全方向の視角から収集される可視ピクセルを使用して、全方向性神経放射輝度フィールドを最適化できます。その結果、提案されたOmniNeRFは、視差効果を示す新しいパノラマビューの説得力のあるレンダリングを実現します。合成データセットと実世界のデータセットの両方で、各提案の有効性を紹介します。
We present Omnidirectional Neural Radiance Fields (OmniNeRF), the first method to the application of parallax-enabled novel panoramic view synthesis. Recent works for novel view synthesis focus on perspective images with limited field-of-view and require sufficient pictures captured in a specific condition. Conversely, OmniNeRF can generate panorama images for unknown viewpoints given a single equirectangular image as training data. To this end, we propose to augment the single RGB-D panorama by projecting back and forth between a 3D world and different 2D panoramic coordinates at different virtual camera positions. By doing so, we are able to optimize an Omnidirectional Neural Radiance Field with visible pixels collecting from omnidirectional viewing angles at a fixed center for the estimation of new viewing angles from varying camera positions. As a result, the proposed OmniNeRF achieves convincing renderings of novel panoramic views that exhibit the parallax effect. We showcase the effectiveness of each of our proposals on both synthetic and real-world datasets.