arXiv reaDer
形状と外観のもつれを解くことによる制御可能な 3D 生成的敵対的顔モデル
Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance
3D 顔モデリングは、コンピューター ビジョンとコンピューター グラフィックスの分野で活発に研究されており、仮想アバターでの顔の表情の転送から合成データの生成まで、さまざまなアプリケーションを促進しています。既存の 3D 深層学習生成モデル (VAE、GAN など) を使用すると、コンパクトな顔表現 (形状とテクスチャの両方) を生成して、形状と外観空間の非線形性 (散乱効果、鏡面反射など) をモデル化できます。ただし、微妙な表現の生成を制御する機能はありません。この論文では、アイデンティティと表現を分離し、表現をきめ細かく制御できる新しい 3D 顔生成モデルを提案します。特に、教師あり自動エンコーダーと生成的敵対ネットワークのペアを使用して、外観と形状の両方の点で高品質の 3D 顔を生成することを提案します。全体論的表現ラベルまたはアクション ユニット ラベルで学習した 3D 顔の生成における実験結果は、アイデンティティと表現を切り離す方法を示しています。アイデンティティを維持しながら、表現を細かく制御できます。
3D face modeling has been an active area of research in computer vision and computer graphics, fueling applications ranging from facial expression transfer in virtual avatars to synthetic data generation. Existing 3D deep learning generative models (e.g., VAE, GANs) allow generating compact face representations (both shape and texture) that can model non-linearities in the shape and appearance space (e.g., scatter effects, specularities, etc.). However, they lack the capability to control the generation of subtle expressions. This paper proposes a new 3D face generative model that can decouple identity and expression and provides granular control over expressions. In particular, we propose using a pair of supervised auto-encoder and generative adversarial networks to produce high-quality 3D faces, both in terms of appearance and shape. Experimental results in the generation of 3D faces learned with holistic expression labels, or Action Unit labels, show how we can decouple identity and expression; gaining fine-control over expressions while preserving identity.
updated: Tue Aug 30 2022 13:40:48 GMT+0000 (UTC)
published: Tue Aug 30 2022 13:40:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト