ユーザーが 6 自由度 (6DoF) で仮想環境を探索できる没入型エクスペリエンスの実現は、仮想現実 (VR) などのさまざまなアプリケーションにとって不可欠です。ワイドベースライン パノラマは、ネットワーク帯域幅とストレージ要件を軽減するために、これらのアプリケーションで一般的に使用されます。ただし、これらのパノラマから新しいビューを合成することは依然として重要な課題です。既存の神経放射輝度場手法は、ベースラインが狭く密な画像キャプチャの下でフォトリアリスティックなビューを生成できますが、まばらな 360^∘ ビューから正確なジオメトリを学習するのが難しいため、ベースラインが広いパノラマを扱う場合、トレーニング ビューをオーバーフィットする傾向があります。この問題に対処するために、我々は、360^∘ シーン事前分布を組み込んだ球状放射フィールドを構築する、広ベースライン パノラマ用の一般化可能な球状放射フィールドである PanoGRF を提案します。パース画像でトレーニングされた一般化可能な放射輝度フィールドとは異なり、PanoGRF はパノラマからパースへの変換による情報損失を回避し、球面投影に基づいて各パノラマ ビューから 3D サンプル ポイントのジオメトリと外観の特徴を直接集約します。さらに、パノラマの一部の領域は 1 つのビューからのみ表示され、広いベースライン設定では他の領域からは見えないため、PanoGRF は 360^∘ 単眼深度事前分布を球面深度推定に組み込み、ジオメトリ特徴を改善します。複数のパノラマ データセットに関する実験結果は、PanoGRF が、ワイドベースライン パノラマ (OmniSyn など) および透視画像 (IBRNet、NeuRay など) に対して、最先端の一般化可能なビュー合成手法よりも大幅に優れていることを示しています。
Achieving an immersive experience enabling users to explore virtual environments with six degrees of freedom (6DoF) is essential for various applications such as virtual reality (VR). Wide-baseline panoramas are commonly used in these applications to reduce network bandwidth and storage requirements. However, synthesizing novel views from these panoramas remains a key challenge. Although existing neural radiance field methods can produce photorealistic views under narrow-baseline and dense image captures, they tend to overfit the training views when dealing with wide-baseline panoramas due to the difficulty in learning accurate geometry from sparse 360^∘ views. To address this problem, we propose PanoGRF, Generalizable Spherical Radiance Fields for Wide-baseline Panoramas, which construct spherical radiance fields incorporating 360^∘ scene priors. Unlike generalizable radiance fields trained on perspective images, PanoGRF avoids the information loss from panorama-to-perspective conversion and directly aggregates geometry and appearance features of 3D sample points from each panoramic view based on spherical projection. Moreover, as some regions of the panorama are only visible from one view while invisible from others under wide baseline settings, PanoGRF incorporates 360^∘ monocular depth priors into spherical depth estimation to improve the geometry features. Experimental results on multiple panoramic datasets demonstrate that PanoGRF significantly outperforms state-of-the-art generalizable view synthesis methods for wide-baseline panoramas (e.g., OmniSyn) and perspective images (e.g., IBRNet, NeuRay).