arXiv reaDer
自己教師あり学習による制御可能な顔操作と UV マップ生成
Controllable Face Manipulation and UV Map Generation by Self-supervised Learning
Generative Adversarial Networks (GAN) による顔の属性の操作は最近著しく成功していますが、ポーズ、表情、照明などの特徴の明示的な制御にはまだいくつかの課題があります。そして3DMM。ただし、3DMM によるテクスチャ再構成のリアリズムと明瞭さに欠けるため、合成画像と 3DMM のレンダリング画像の間にドメイン ギャップがあります。レンダリングされた 3DMM 画像には背景のない顔領域のみが含まれているため、これら 2 つのドメイン間の損失を直接計算することは理想的ではなく、結果のトレーニング済みモデルに偏りが生じます。この研究では、3DMM のパラメーターを制御することにより、事前トレーニング済みの StyleGAN の潜在空間を明示的に編集することを提案します。ドメインギャップの問題に対処するために、「マップと編集」と呼ばれる新しいネットワークと、レンダリングされた画像と合成された画像の間の直接的な損失計算を回避するためのシンプルだが効果的な属性編集方法を提案します。さらに、私たちのモデルはアイデンティティを変更せずに多視点の顔画像を正確に生成できるためです。副産物として、可視性マスクと組み合わせることで、提案されたモデルは、テクスチャが豊富で高解像度の UV 顔テクスチャも生成できます。私たちのモデルは、事前トレーニング済みの StyleGAN に依存しており、提案されたモデルは、手動の注釈やデータセットを使用せずに自己管理型の方法でトレーニングされます。
Although manipulating facial attributes by Generative Adversarial Networks (GANs) has been remarkably successful recently, there are still some challenges in explicit control of features such as pose, expression, lighting, etc. Recent methods achieve explicit control over 2D images by combining 2D generative model and 3DMM. However, due to the lack of realism and clarity in texture reconstruction by 3DMM, there is a domain gap between the synthetic image and the rendered image of 3DMM. Since rendered 3DMM images contain facial region only without the background, directly computing the loss between these two domains is not ideal and the resultant trained model will be biased. In this study, we propose to explicitly edit the latent space of the pretrained StyleGAN by controlling the parameters of the 3DMM. To address the domain gap problem, we propose a noval network called 'Map and edit' and a simple but effective attribute editing method to avoid direct loss computation between rendered and synthesized images. Furthermore, since our model can accurately generate multi-view face images while the identity remains unchanged. As a by-product, combined with visibility masks, our proposed model can also generate texture-rich and high-resolution UV facial textures. Our model relies on pretrained StyleGAN, and the proposed model is trained in a self-supervised manner without any manual annotations or datasets.
updated: Sat Sep 24 2022 16:49:25 GMT+0000 (UTC)
published: Sat Sep 24 2022 16:49:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト