Neural Radiance Fields(NeRF)は、その印象的な斬新なビュー合成機能で最近人気を博しています。この論文では、幻覚を起こしたNeRFの問題を研究します。つまり、観光画像のグループから異なる時間に現実的なNeRFを復元します。既存のソリューションは、さまざまな条件下で新しいビューをレンダリングするために制御可能な外観埋め込みを備えたNeRFを採用していますが、見えない外観のビュー整合性のある画像をレンダリングすることはできません。この問題を解決するために、H-NeRFと呼ばれる幻覚のNeRFを構築するためのエンドツーエンドのフレームワークを紹介します。具体的には、時間とともに変化する外観を処理し、それらを新しいビューに転送するための外観幻覚モジュールを提案します。観光画像の複雑なオクルージョンを考慮して、視界のために静的な被写体を正確に分解するために、オクルージョン防止モジュールが導入されています。合成データと実際の観光写真コレクションの実験結果は、私たちの方法が望ましい外観を幻覚させるだけでなく、さまざまなビューからオクルージョンのない画像をレンダリングできることを示しています。プロジェクトと補足資料はhttps://rover-xingyu.github.io/H-NeRF/で入手できます。
Neural Radiance Fields (NeRF) has recently gained popularity for its impressive novel view synthesis ability. This paper studies the problem of hallucinated NeRF: i.e. recovering a realistic NeRF at a different time of day from a group of tourism images. Existing solutions adopt NeRF with a controllable appearance embedding to render novel views under various conditions, but cannot render view-consistent images with an unseen appearance. To solve this problem, we present an end-to-end framework for constructing a hallucinated NeRF, dubbed as H-NeRF. Specifically, we propose an appearance hallucination module to handle time-varying appearances and transfer them to novel views. Considering the complex occlusions of tourism images, an anti-occlusion module is introduced to decompose the static subjects for visibility accurately. Experimental results on synthetic data and real tourism photo collections demonstrate that our method can not only hallucinate the desired appearances, but also render occlusion-free images from different views. The project and supplementary materials are available at https://rover-xingyu.github.io/H-NeRF/.