この論文では、表現力豊かな3D顔から顔のアイデンティティ表現を解きほぐすための新しいディープラーニングベースのアプローチを提案します。 3D顔が与えられると、私たちのアプローチは、解きほぐされたアイデンティティ表現を抽出するだけでなく、そのアイデンティティを予測しながら、ニュートラルな表情でリアルな3D顔を生成します。提案されたネットワークは3つのコンポーネントで構成されています。 (1)3D顔を潜在表現にエンコードするグラフ畳み込みオートエンコーダー(GCA)、(2)表現力豊かな顔の潜在表現を中立顔の潜在表現に変換するGenerative Adversarial Network(GAN)、(3)およびアイデンティティ認識3D顔認識のために中和された潜在表現を利用するサブネットワーク。ネットワーク全体がエンドツーエンドの方法でトレーニングされます。実験は、提案されたアプローチの有効性を示す3つの公開されているデータセットで実施されます。
In this paper, we propose a new deep learning-based approach for disentangling face identity representations from expressive 3D faces. Given a 3D face, our approach not only extracts a disentangled identity representation but also generates a realistic 3D face with a neutral expression while predicting its identity. The proposed network consists of three components; (1) a Graph Convolutional Autoencoder (GCA) to encode the 3D faces into latent representations, (2) a Generative Adversarial Network (GAN) that translates the latent representations of expressive faces into those of neutral faces, (3) and an identity recognition sub-network taking advantage of the neutralized latent representations for 3D face recognition. The whole network is trained in an end-to-end manner. Experiments are conducted on three publicly available datasets showing the effectiveness of the proposed approach.