NeRF は、任意の視点から 3D シーンをレンダリングするという、斬新なビュー合成の比類のない忠実度を提供します。 NeRF は、シーンを完全にカバーする多数のビューでトレーニングする必要があるため、その適用性が制限されます。これらの問題は、さまざまな形式のシーンの事前学習によって対処できますが、以前のアプローチは、過度に単純なシーンに適用されるか、観測されていない部分のレンダリングに苦労していました。 Laser-NV: 高いモデリング能力を実現し、フローの正規化によってモデル化された集合値潜在表現に基づく生成モデルを紹介します。以前の償却されたアプローチと同様に、Laser-NV は複数のシーンから構造を学習し、少数のビューから高速でフィードフォワードの推論が可能です。より高いレンダリングの忠実度と観察されたビューとの一貫性を促進するために、Laser-NV はさらに、観察されたビューに対してジオメトリに基づくアテンション メカニズムを組み込みます。 Laser-NV はさらに、観察との一貫性を保ちながら、シーンの遮られた部分の多様で妥当な完成を生成します。 Laser-NV は、ShapeNet と、シーンの観測されていない領域で高い不確実性を特徴とする新しいシミュレートされた都市データセットで評価した場合、最先端の新しいビュー合成品質を示します。
NeRF provides unparalleled fidelity of novel view synthesis: rendering a 3D scene from an arbitrary viewpoint. NeRF requires training on a large number of views that fully cover a scene, which limits its applicability. While these issues can be addressed by learning a prior over scenes in various forms, previous approaches have been either applied to overly simple scenes or struggling to render unobserved parts. We introduce Laser-NV: a generative model which achieves high modelling capacity, and which is based on a set-valued latent representation modelled by normalizing flows. Similarly to previous amortized approaches, Laser-NV learns structure from multiple scenes and is capable of fast, feed-forward inference from few views. To encourage higher rendering fidelity and consistency with observed views, Laser-NV further incorporates a geometry-informed attention mechanism over the observed views. Laser-NV further produces diverse and plausible completions of occluded parts of a scene while remaining consistent with observations. Laser-NV shows state-of-the-art novel-view synthesis quality when evaluated on ShapeNet and on a novel simulated City dataset, which features high uncertainty in the unobserved regions of the scene.