arXiv reaDer
NeuLF:ニューラル4Dライトフィールドを使用した効率的な新規ビュー合成
NeuLF: Efficient Novel View Synthesis with Neural 4D Light Field
この論文では、複雑なシーンの新しいビュー合成のための効率的で堅牢なディープラーニングソリューションを紹介します。私たちのアプローチでは、3Dシーンはライトフィールド、つまり光線のセットとして表され、各光線は画像平面に到達したときに対応する色を持ちます。効率的な新しいビューレンダリングのために、ライトフィールドの4Dパラメータ化を採用します。ここで、各光線は4Dパラメータによって特徴付けられます。次に、ライトフィールドを4D座標を対応するカラー値にマッピングする4D関数として定式化します。この陰関数を最適化し、3Dシーンを記憶するために、完全に接続された深いネットワークをトレーニングします。次に、シーン固有のモデルを使用して、新しいビューを合成します。新しいビューを確実にレンダリングするために高密度のビューサンプリングを必要とする以前のライトフィールドアプローチとは異なり、この方法では、光線をサンプリングし、ネットワークからの各光線の色を直接クエリすることで新しいビューをレンダリングできるため、スパースセットで高品質のライトフィールドレンダリングが可能になります。トレーニング画像の。私たちの方法は、インタラクティブなフレームレートを維持しながら、最先端の斬新なビュー合成結果を実現します。
In this paper, we present an efficient and robust deep learning solution for novel view synthesis of complex scenes. In our approach, a 3D scene is represented as a light field, i.e., a set of rays, each of which has a corresponding color when reaching the image plane. For efficient novel view rendering, we adopt a 4D parameterization of the light field, where each ray is characterized by a 4D parameter. We then formulate the light field as a 4D function that maps 4D coordinates to corresponding color values. We train a deep fully connected network to optimize this implicit function and memorize the 3D scene. Then, the scene-specific model is used to synthesize novel views. Different from previous light field approaches which require dense view sampling to reliably render novel views, our method can render novel views by sampling rays and querying the color for each ray from the network directly, thus enabling high-quality light field rendering with a sparser set of training images. Our method achieves state-of-the-art novel view synthesis results while maintaining an interactive frame rate.
updated: Fri Aug 13 2021 17:52:20 GMT+0000 (UTC)
published: Sat May 15 2021 01:20:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト