3Dオブジェクトで構成されるシーンのスパースソース観測からの新しいビュー合成の問題を研究します。ビュー合成に関する最近の傾向に挑戦する、継続的でも暗黙的でもない、シンプルでありながら効果的なアプローチを提案します。私たちのアプローチは、観測値を、償却レンダリングを可能にするボリューム表現に明示的にエンコードします。連続放射輝度フィールド表現はその表現力により多くの注目を集めていますが、私たちの単純なアプローチでは、レンダリング速度を400倍以上向上させながら、最先端のベースラインと比較して同等またはさらに優れた新しいビュー再構成品質が得られることを示します。私たちのモデルは、カテゴリにとらわれない方法でトレーニングされており、シーン固有の最適化を必要としません。したがって、トレーニング中に見られないオブジェクトカテゴリに新しいビュー合成を一般化することができます。さらに、単純な定式化により、明示的な3D監視なしで、3Dジオメトリを効率的に学習するための自己監視信号としてビュー合成を使用できることを示します。
We study the problem of novel view synthesis from sparse source observations of a scene comprised of 3D objects. We propose a simple yet effective approach that is neither continuous nor implicit, challenging recent trends on view synthesis. Our approach explicitly encodes observations into a volumetric representation that enables amortized rendering. We demonstrate that although continuous radiance field representations have gained a lot of attention due to their expressive power, our simple approach obtains comparable or even better novel view reconstruction quality comparing with state-of-the-art baselines while increasing rendering speed by over 400x. Our model is trained in a category-agnostic manner and does not require scene-specific optimization. Therefore, it is able to generalize novel view synthesis to object categories not seen during training. In addition, we show that with our simple formulation, we can use view synthesis as a self-supervision signal for efficient learning of 3D geometry without explicit 3D supervision.