arXiv reaDer
FaceTuneGAN:ニューラル生成敵対的ネットワークを使用した畳み込み式転送のための顔オートエンコーダ
FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks
この論文では、顔のアイデンティティと表情を別々に分解およびエンコードする新しい3D顔モデル表現であるFaceTuneGANを紹介します。 2Dドメインで成功裏に使用されている画像から画像への変換ネットワークの3D面ジオメトリへの最初の適応を提案します。最近リリースされた大規模な顔スキャンデータベースを活用して、顔のより良い知識で変化の要因を分離するようにニューラルネットワークがトレーニングされ、表情の伝達と表情豊かな顔の中和が可能になりました。具体的には、FUNITの基本アーキテクチャを適応させ、畳み込みおよびサンプリング操作にSpiralNet ++を使用する敵対的なアーキテクチャを設計します。 2つの公開されているデータセット(FaceScapeとCoMA)を使用することで、FaceTuneGANは、最先端の技術よりも優れたID分解と顔の中和を実現します。また、グラウンドトゥルースデータに近いブレンドシェイプを予測し、ソースとターゲット間で顔の形態があまりにも異なるために望ましくないアーティファクトが少ないことにより、従来の変形伝達アプローチよりも優れています。
In this paper, we present FaceTuneGAN, a new 3D face model representation decomposing and encoding separately facial identity and facial expression. We propose a first adaptation of image-to-image translation networks, that have successfully been used in the 2D domain, to 3D face geometry. Leveraging recently released large face scan databases, a neural network has been trained to decouple factors of variations with a better knowledge of the face, enabling facial expressions transfer and neutralization of expressive faces. Specifically, we design an adversarial architecture adapting the base architecture of FUNIT and using SpiralNet++ for our convolutional and sampling operations. Using two publicly available datasets (FaceScape and CoMA), FaceTuneGAN has a better identity decomposition and face neutralization than state-of-the-art techniques. It also outperforms classical deformation transfer approach by predicting blendshapes closer to ground-truth data and with less of undesired artifacts due to too different facial morphologies between source and target.
updated: Wed Dec 01 2021 14:42:03 GMT+0000 (UTC)
published: Wed Dec 01 2021 14:42:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト