arXiv reaDer
DINER: 深度認識画像ベースの NEural Radiance フィールド
DINER: Depth-aware Image-based NEural Radiance fields
Depth-aware Image-based NEural Radiance fields (DINER) を紹介します。 RGB 入力ビューのまばらなセットが与えられると、深度マップと特徴マップを予測して、新しいビューで 3D オブジェクトをレンダリングできるようにするボリューム シーン表現の再構成を導きます。具体的には、深度情報を特徴融合と効率的なシーン サンプリングに組み込むための新しい手法を提案します。以前の最先端技術と比較して、DINER はより高い合成品質を達成し、より大きな視差で入力ビューを処理できます。これにより、キャプチャのハードウェア要件を変更することなく、シーンをより完全にキャプチャすることができ、最終的には、新しいビューの合成中により大きな視点の変更が可能になります。人間の頭と一般的なオブジェクトの両方について、新しいビューを合成することによって私たちの方法を評価し、以前の最先端技術と比較して、大幅に改善された定性的結果と増加した知覚メトリックを観察します。コードは研究目的で公開されています。
We present Depth-aware Image-based NEural Radiance fields (DINER). Given a sparse set of RGB input views, we predict depth and feature maps to guide the reconstruction of a volumetric scene representation that allows us to render 3D objects under novel views. Specifically, we propose novel techniques to incorporate depth information into feature fusion and efficient scene sampling. In comparison to the previous state of the art, DINER achieves higher synthesis quality and can process input views with greater disparity. This allows us to capture scenes more completely without changing capturing hardware requirements and ultimately enables larger viewpoint changes during novel view synthesis. We evaluate our method by synthesizing novel views, both for human heads and for general objects, and observe significantly improved qualitative results and increased perceptual metrics compared to the previous state of the art. The code is publicly available for research purposes.
updated: Thu Mar 30 2023 22:14:20 GMT+0000 (UTC)
published: Tue Nov 29 2022 23:22:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト