私たちは、まばらな入力ビューを与えられた屋内シーンの新しいビューを生成することを研究しています。課題は、フォトリアリズムとビューの一貫性の両方を達成することです。私たちは、3D 構造と画像生成モデルを組み込んで、3 つのモジュールで新しいビューを生成する学習フレームワークである SparseGNV を紹介します。最初のモジュールは、基礎となるジオメトリとしてニューラル点群を構築し、ターゲットの新しいビューにコンテキスト情報とガイダンスを提供します。 2 番目のモジュールは、トランスフォーマー ベースのネットワークを利用して、シーン コンテキストとガイダンスを共有潜在空間にマッピングし、離散画像トークンの形式でターゲット ビューを自己回帰的にデコードします。 3 番目のモジュールは、トークンをターゲット ビューのイメージに再構築します。 SparseGNV は、一般化可能な事前分布を学習するために、大規模な屋内シーン データセット全体でトレーニングされます。トレーニングが完了すると、フィードフォワード方式で、目に見えない屋内シーンの新しいビューを効率的に生成できます。私たちは、現実世界と合成屋内シーンの両方で SparseGNV を評価し、神経放射フィールドまたは条件付き画像生成のいずれかに基づく最先端の方法よりも優れたパフォーマンスを発揮することを実証します。
We study to generate novel views of indoor scenes given sparse input views. The challenge is to achieve both photorealism and view consistency. We present SparseGNV: a learning framework that incorporates 3D structures and image generative models to generate novel views with three modules. The first module builds a neural point cloud as underlying geometry, providing contextual information and guidance for the target novel view. The second module utilizes a transformer-based network to map the scene context and the guidance into a shared latent space and autoregressively decodes the target view in the form of discrete image tokens. The third module reconstructs the tokens into the image of the target view. SparseGNV is trained across a large indoor scene dataset to learn generalizable priors. Once trained, it can efficiently generate novel views of an unseen indoor scene in a feed-forward manner. We evaluate SparseGNV on both real-world and synthetic indoor scenes and demonstrate that it outperforms state-of-the-art methods based on either neural radiance fields or conditional image generation.