arXiv reaDer
スパースから高密度の動的3D顔の表情の生成
Sparse to Dense Dynamic 3D Facial Expression Generation
本論文では、ニュートラルな3D顔と表情ラベルから動的な3D表情を生成するタスクの解決策を提案します。これには、2つのサブ問題を解決することが含まれます。(i)式の時間的ダイナミクスをモデル化すること、および(ii)ニュートラルメッシュを変形して表現力のある対応物を取得することです。多様な値のGAN(Motion3DGAN)をトレーニングすることによって生成することを学習した、スパースな3Dランドマークのセットのモーションを使用して、式の時間的進化を表します。式によって引き起こされる変形をより適切にエンコードし、それをID情報から解きほぐすために、生成されたモーションは、ニュートラル構成からのフレームごとの変位として表されます。表現力豊かなメッシュを生成するために、ランドマークの変位を高密度の頂点ごとの変位にマッピングするSparse2Denseメッシュデコーダー(S2D-Dec)をトレーニングします。これにより、ランドマークのまばらなセットの動きが、アイデンティティとは関係なく、顔の表面全体の変形にどのように影響するかを知ることができます。 CoMAおよびD3DFACSデータセットの実験結果は、私たちのソリューションが、動的な表現の生成とメッシュの再構築の両方の点で以前のソリューションに比べて大幅な改善をもたらし、目に見えないデータへの優れた一般化を維持していることを示しています。コードと事前トレーニング済みモデルは公開されます。
In this paper, we propose a solution to the task of generating dynamic 3D facial expressions from a neutral 3D face and an expression label. This involves solving two sub-problems: (i)modeling the temporal dynamics of expressions, and (ii) deforming the neutral mesh to obtain the expressive counterpart. We represent the temporal evolution of expressions using the motion of a sparse set of 3D landmarks that we learn to generate by training a manifold-valued GAN (Motion3DGAN). To better encode the expression-induced deformation and disentangle it from the identity information, the generated motion is represented as per-frame displacement from a neutral configuration. To generate the expressive meshes, we train a Sparse2Dense mesh Decoder (S2D-Dec) that maps the landmark displacements to a dense, per-vertex displacement. This allows us to learn how the motion of a sparse set of landmarks influences the deformation of the overall face surface, independently from the identity. Experimental results on the CoMA and D3DFACS datasets show that our solution brings significant improvements with respect to previous solutions in terms of both dynamic expression generation and mesh reconstruction, while retaining good generalization to unseen data. The code and the pretrained model will be made publicly available.
updated: Thu Mar 03 2022 08:34:05 GMT+0000 (UTC)
published: Sun May 16 2021 15:52:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト