arXiv reaDer
Mimic3D: 3D から 2D への模倣による 3D 対応 GAN の繁栄
Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation
フォトリアリズムとマルチビュー 3D 一貫性の両方を備えた画像を生成することは、3D 認識 GAN にとって重要ですが、既存の方法ではそれらを同時に達成するのに苦労しています。 CNN ベースの 2D 超解像によってフォトリアリズムを改善すると、厳密な 3D 一貫性が破られる可能性がありますが、ダイレクト レンダリング用の高解像度 3D 表現を学習して 3D 一貫性を維持すると、多くの場合、画質が低下します。この論文では、新しい学習戦略、つまり3Dから2Dへの模倣を提案します。これにより、ジェネレーターの3Dレンダリングブランチによって合成された画像を許可することにより、3D対応GANが厳密な3D一貫性を維持しながら高品質の画像を生成できます。 2D 超解像ブランチによって生成されたものを模倣します。また、3D 認識畳み込みをジェネレーターに導入して、3D 表現の学習を改善し、画像生成の品質をさらに向上させます。上記の戦略により、私たちの方法は、512x512 の解像度で、FFHQ と AFHQ-v2 猫でそれぞれ 5.4 と 4.3 の FID スコアに達し、直接 3D レンダリングを使用して既存の 3D 認識 GAN を大幅に上回り、以前の状態に非常に近づきます。 2D超解像を活用した最先端の手法。プロジェクトのウェブサイト: https://seanchenxy.github.io/Mimic3DWeb.
Generating images with both photorealism and multiview 3D consistency is crucial for 3D-aware GANs, yet existing methods struggle to achieve them simultaneously. Improving the photorealism via CNN-based 2D super-resolution can break the strict 3D consistency, while keeping the 3D consistency by learning high-resolution 3D representations for direct rendering often compromises image quality. In this paper, we propose a novel learning strategy, namely 3D-to-2D imitation, which enables a 3D-aware GAN to generate high-quality images while maintaining their strict 3D consistency, by letting the images synthesized by the generator's 3D rendering branch to mimic those generated by its 2D super-resolution branch. We also introduce 3D-aware convolutions into the generator for better 3D representation learning, which further improves the image generation quality. With the above strategies, our method reaches FID scores of 5.4 and 4.3 on FFHQ and AFHQ-v2 Cats, respectively, at 512x512 resolution, largely outperforming existing 3D-aware GANs using direct 3D rendering and coming very close to the previous state-of-the-art method that leverages 2D super-resolution. Project website: https://seanchenxy.github.io/Mimic3DWeb.
updated: Mon Aug 07 2023 08:10:55 GMT+0000 (UTC)
published: Thu Mar 16 2023 02:18:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト