最新の 3D-GAN は、一貫した構造を持つ大規模なデータセットでトレーニングすることにより、ジオメトリとテクスチャを合成します。このようなモデルを様式化された芸術的なデータでトレーニングすることは、多くの場合不明で非常に可変的なジオメトリとカメラ情報を使用して行うことが可能であることはまだ示されていません。マルチビューの一貫性とテクスチャの品質を維持しながら、そのような芸術的なデータで 3D GAN をトレーニングできますか?この目的のために、ソース ドメインが事前トレーニング済みの 3D-GAN であり、ターゲット ドメインが芸術的なデータセットでトレーニングされた 2D-GAN である適応フレームワークを提案します。次に、2D ジェネレーターからソースの 3D ジェネレーターに知識を抽出します。そのために、まず、ドメイン全体でカメラパラメーターの分布を調整するための最適化ベースの方法を提案します。次に、高品質のテクスチャを学習するために必要な正則化を提案し、フラットな形状などの退化した幾何学的ソリューションを回避します。第 3 に、芸術的な領域の誇張されたジオメトリをモデル化するための変形ベースの手法を示し、副産物として、パーソナライズされたジオメトリ編集を可能にします。最後に、ソースドメインとターゲットドメインの潜在空間をリンクする3D-GANの新しい反転方法を提案します。私たちの貢献により、初めて、芸術的なデータセットでパーソナライズされた芸術的な 3D アバターの生成、編集、およびアニメーションが可能になります。
Modern 3D-GANs synthesize geometry and texture by training on large-scale datasets with a consistent structure. Training such models on stylized, artistic data, with often unknown, highly variable geometry, and camera information has not yet been shown possible. Can we train a 3D GAN on such artistic data, while maintaining multi-view consistency and texture quality? To this end, we propose an adaptation framework, where the source domain is a pre-trained 3D-GAN, while the target domain is a 2D-GAN trained on artistic datasets. We then distill the knowledge from a 2D generator to the source 3D generator. To do that, we first propose an optimization-based method to align the distributions of camera parameters across domains. Second, we propose regularizations necessary to learn high-quality texture, while avoiding degenerate geometric solutions, such as flat shapes. Third, we show a deformation-based technique for modeling exaggerated geometry of artistic domains, enabling -- as a byproduct -- personalized geometric editing. Finally, we propose a novel inversion method for 3D-GANs linking the latent spaces of the source and the target domains. Our contributions -- for the first time -- allow for the generation, editing, and animation of personalized artistic 3D avatars on artistic datasets.