arXiv reaDer
効率的なジオメトリ対応の3D生成的敵対的ネットワーク
Efficient Geometry-aware 3D Generative Adversarial Networks
シングルビュー2D写真のコレクションのみを使用して、高品質のマルチビュー整合性のある画像と3D形状を教師なしで生成することは、長年の課題でした。既存の3DGANは、計算集約型であるか、3D整合性のない近似を行います。前者は生成された画像の品質と解像度を制限し、後者はマルチビューの一貫性と形状品質に悪影響を及ぼします。この作業では、これらの近似に過度に依存することなく、3DGANの計算効率と画質を向上させます。この目的のために、表現力豊かなハイブリッド明示的暗黙的ネットワークアーキテクチャを導入します。これは、他の設計の選択肢とともに、高解像度のマルチビュー整合性のある画像をリアルタイムで合成するだけでなく、高品質の3Dジオメトリを生成します。特徴生成とニューラルレンダリングを分離することにより、私たちのフレームワークは、StyleGAN2などの最先端の2D CNNジェネレーターを活用し、それらの効率と表現力を継承することができます。他の実験の中でも、FFHQおよびAFHQCatsを使用した最先端の3D対応合成を示します。
Unsupervised generation of high-quality multi-view-consistent images and 3D shapes using only collections of single-view 2D photographs has been a long-standing challenge. Existing 3D GANs are either compute-intensive or make approximations that are not 3D-consistent; the former limits quality and resolution of the generated images and the latter adversely affects multi-view consistency and shape quality. In this work, we improve the computational efficiency and image quality of 3D GANs without overly relying on these approximations. For this purpose, we introduce an expressive hybrid explicit-implicit network architecture that, together with other design choices, synthesizes not only high-resolution multi-view-consistent images in real time but also produces high-quality 3D geometry. By decoupling feature generation and neural rendering, our framework is able to leverage state-of-the-art 2D CNN generators, such as StyleGAN2, and inherit their efficiency and expressiveness. We demonstrate state-of-the-art 3D-aware synthesis with FFHQ and AFHQ Cats, among other experiments.
updated: Wed Dec 15 2021 08:01:43 GMT+0000 (UTC)
published: Wed Dec 15 2021 08:01:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト