arXiv reaDer
密な対応推定によるセマンティック認識ワンショット顔再現
Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation
ワンショットの顔の再現は、元の顔と運転中の顔の同一性が一致しないため、困難な作業です。具体的には、運転中の被験者の身元情報が最適に解かれていないと、必然的に再現結果が妨げられ、顔の形が歪むことになります。この問題を解決するために、この論文では、3D モーファブル モデル (3DMM) を使用して、顔の明示的なセマンティック分解とアイデンティティのもつれを解くことを提案します。再現制御に 3D 係数のみを使用する代わりに、3DMM の生成機能を利用して、テクスチャ付きの顔プロキシをレンダリングします。これらのプロキシには、人間の顔の豊富でコンパクトな幾何学的情報と意味情報が含まれており、密な対応を推定することにより、ソース画像と駆動画像の間の顔の動きフィールドを計算できます。このようにして、モーションフィールドに従ってソース画像をワープすることで再現結果を近似することができ、Generative Adversarial Network (GAN) を採用して、ワーピング結果の視覚的品質をさらに向上させます。さまざまなデータセットでの広範な実験により、アイデンティティの保存と再現の実現の両方において、既存の最先端のベンチマークに対する提案された方法の利点が実証されています。
One-shot face re-enactment is a challenging task due to the identity mismatch between source and driving faces. Specifically, the suboptimally disentangled identity information of driving subjects would inevitably interfere with the re-enactment results and lead to face shape distortion. To solve this problem, this paper proposes to use 3D Morphable Model (3DMM) for explicit facial semantic decomposition and identity disentanglement. Instead of using 3D coefficients alone for re-enactment control, we take the advantage of the generative ability of 3DMM to render textured face proxies. These proxies contain abundant yet compact geometric and semantic information of human faces, which enable us to compute the face motion field between source and driving images by estimating the dense correspondence. In this way, we could approximate re-enactment results by warping source images according to the motion field, and a Generative Adversarial Network (GAN) is adopted to further improve the visual quality of warping results. Extensive experiments on various datasets demonstrate the advantages of the proposed method over existing start-of-the-art benchmarks in both identity preservation and re-enactment fulfillment.
updated: Wed Nov 23 2022 03:02:34 GMT+0000 (UTC)
published: Wed Nov 23 2022 03:02:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト