arXiv reaDer
Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
 生成モデルによる教師なし学習は、3Dシーンの豊富な表現を発見する可能性があります。ジオメトリックディープラーニングでは、シーンジオメトリの3D構造認識表現を調査しましたが、これらのモデルでは通常、明示的な3D監督が必要です。出現する神経シーンの表現は、ポーズが設定された2D画像でのみトレーニングできますが、既存の方法はシーンの3次元構造を無視します。ジオメトリと外観の両方をエンコードする連続的な3D構造認識シーン表現であるシーン表現ネットワーク(SRN)を提案します。 SRNは、ワールド座標をローカルシーンプロパティのフィーチャ表現にマッピングする連続関数としてシーンを表します。画像形成を微分可能なレイマーチングアルゴリズムとして定式化することにより、深さや形状にアクセスすることなく、SRNを2D画像とそのカメラポーズのみからエンドツーエンドでトレーニングできます。この定式化はシーン全体で自然に一般化され、プロセスの強力なジオメトリと外観の優先順位を学習します。 SRNの可能性を、新規ビュー合成、数ショット再構成、ジョイント形状と外観補間、および非剛体顔モデルの教師なし発見のために評価することにより実証します。
Unsupervised learning with generative models has the potential of discovering rich representations of 3D scenes. While geometric deep learning has explored 3D-structure-aware representations of scene geometry, these models typically require explicit 3D supervision. Emerging neural scene representations can be trained only with posed 2D images, but existing methods ignore the three-dimensional structure of scenes. We propose Scene Representation Networks (SRNs), a continuous, 3D-structure-aware scene representation that encodes both geometry and appearance. SRNs represent scenes as continuous functions that map world coordinates to a feature representation of local scene properties. By formulating the image formation as a differentiable ray-marching algorithm, SRNs can be trained end-to-end from only 2D images and their camera poses, without access to depth or shape. This formulation naturally generalizes across scenes, learning powerful geometry and appearance priors in the process. We demonstrate the potential of SRNs by evaluating them for novel view synthesis, few-shot reconstruction, joint shape and appearance interpolation, and unsupervised discovery of a non-rigid face model.
updated: Tue Jan 28 2020 23:06:36 GMT+0000 (UTC)
published: Tue Jun 04 2019 17:53:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト