近くのビューのまばらなセットを補間することにより、複雑なシーンの新しいビューを合成する方法を提示します。私たちの方法の中核は、多層パーセプトロンと、連続する5D位置(3D空間位置と2D表示方向)で放射輝度と体積密度を推定し、複数のソースビューからその場で外観情報を描画する光線変換器を含むネットワークアーキテクチャです。レンダリング時にソースビューを描画することにより、このメソッドは画像ベースのレンダリング(IBR)に関する従来の作業に耳を傾け、高解像度の画像をレンダリングできるようにします。レンダリングのためにシーンごとの関数を最適化するニューラルシーン表現作業とは異なり、新しいシーンに一般化する一般的なビュー補間関数を学習します。古典的なボリュームレンダリングを使用して画像をレンダリングします。これは完全に区別可能であり、監視としてマルチビューポーズ画像のみを使用してトレーニングすることができます。実験は、私たちの方法が、新しいシーンに一般化しようとする最近の新しいビュー合成方法よりも優れていることを示しています。さらに、各シーンで微調整した場合、私たちの方法は、最先端のシングルシーンニューラルレンダリング方法と競合します。
We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multi-view posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods.