arXiv reaDer
GRF:3Dシーンの表現とレンダリングのための一般的な放射輝度フィールドの学習
GRF: Learning a General Radiance Field for 3D Scene Representation and Rendering
2D観測からのみ、単一のネットワークで任意に複雑な3Dシーンを表現およびレンダリングできる、シンプルでありながら強力な陰関数を提示します。この関数は、3Dシーンを一般的な輝度フィールドとしてモデル化します。これは、カメラのポーズとインテリジェンスを入力としてポーズをとった2D画像のセットを取得し、シーンの各3Dポイントの内部表現を構築し、任意の3Dポイントの対応する外観とジオメトリをレンダリングします。任意の角度から見る。私たちのアプローチの鍵は、マルチビュージオメトリの原理を明示的に統合して、観察された2Dビューから内部表現を取得し、学習された暗黙の表現が経験的にマルチビューの一貫性を保つようにすることです。さらに、2D画像の各ピクセルの一般的な特徴を学習するための効果的なニューラルモジュールを導入し、構築された内部3D表現も一般的にできるようにします。広範な実験は、私たちのアプローチの優位性を示しています。
We present a simple yet powerful implicit neural function that can represent and render arbitrarily complex 3D scenes in a single network only from 2D observations. The function models 3D scenes as a general radiance field, which takes a set of posed 2D images with camera poses and intrinsics as input, constructs an internal representation for each 3D point of the scene, and renders the corresponding appearance and geometry of any 3D point viewing from an arbitrary angle. The key to our approach is to explicitly integrate the principle of multi-view geometry to obtain the internal representations from observed 2D views, such that the learned implicit representations empirically remain multi-view consistent. In addition, we introduce an effective neural module to learn general features for each pixel in 2D images, allowing the constructed internal 3D representations to be general as well. Extensive experiments demonstrate the superiority of our approach.
updated: Sun Nov 29 2020 06:33:25 GMT+0000 (UTC)
published: Fri Oct 09 2020 14:21:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト