arXiv reaDer
3D対応の顔生成のための2DStyleGANのリフティング
Lifting 2D StyleGAN for 3D-Aware Face Generation
3D対応の顔生成のために事前にトレーニングされたStyleGAN2を解きほぐし、持ち上げる、LiftedGANと呼ばれるフレームワークを提案します。私たちのモデルは、(1)StyleGAN2の潜在空間をテクスチャ、形状、視点、照明に解きほぐし、(2)合成画像をレンダリングするための3Dコンポーネントを生成できるという意味で「3D対応」です。以前のほとんどの方法とは異なり、私たちの方法は完全に自己監視されています。つまり、トレーニングに手動の注釈や3DMMモデルは必要ありません。代わりに、微分可能なレンダラーを使用してStyleGAN2の事前知識を抽出することにより、画像とその3Dコンポーネントを生成する方法を学習します。提案されたモデルは、3D形状とテクスチャの両方を出力できるため、生成された画像に対して明示的なポーズと照明の制御が可能になります。定性的および定量的な結果は、現実的な高品質の画像を生成しながら、コンテンツの制御性において3D制御可能なGANの既存の方法に対する私たちのアプローチの優位性を示しています。
We propose a framework, called LiftedGAN, that disentangles and lifts a pre-trained StyleGAN2 for 3D-aware face generation. Our model is "3D-aware" in the sense that it is able to (1) disentangle the latent space of StyleGAN2 into texture, shape, viewpoint, lighting and (2) generate 3D components for rendering synthetic images. Unlike most previous methods, our method is completely self-supervised, i.e. it neither requires any manual annotation nor 3DMM model for training. Instead, it learns to generate images as well as their 3D components by distilling the prior knowledge in StyleGAN2 with a differentiable renderer. The proposed model is able to output both the 3D shape and texture, allowing explicit pose and lighting control over generated images. Qualitative and quantitative results show the superiority of our approach over existing methods on 3D-controllable GANs in content controllability while generating realistic high quality images.
updated: Thu Nov 26 2020 05:02:09 GMT+0000 (UTC)
published: Thu Nov 26 2020 05:02:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト