arXiv reaDer
EAMM:オーディオベースの感情認識モーションモデルを介したワンショットの感情的な話す顔
EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model
音声駆動の話す顔の生成は大幅に進歩しましたが、既存の方法は顔の感情を無視するか、任意の被写体に適用することはできません。本論文では、感情ソースビデオを使用してワンショットの感情的な話し顔を生成するための感情認識モーションモデル(EAMM)を提案します。具体的には、最初にAudio2Facial-Dynamicsモジュールを提案します。このモジュールは、音声駆動の監視されていないゼロ次および1次のキーポイントモーションから話す顔をレンダリングします。次に、モーションモデルのプロパティを調査することにより、感情関連の顔のダイナミクスを以前に取得したモーション表現に線形に追加する変位として表す暗黙の感情変位学習器をさらに提案します。包括的な実験は、両方のモジュールからの結果を組み込むことにより、私たちの方法が現実的な感情パターンを持つ任意の被験者に対して満足のいく話す顔の結果を生成できることを示しています。
Although significant progress has been made to audio-driven talking face generation, existing methods either neglect facial emotion or cannot be applied to arbitrary subjects. In this paper, we propose the Emotion-Aware Motion Model (EAMM) to generate one-shot emotional talking faces by involving an emotion source video. Specifically, we first propose an Audio2Facial-Dynamics module, which renders talking faces from audio-driven unsupervised zero- and first-order key-points motion. Then through exploring the motion model's properties, we further propose an Implicit Emotion Displacement Learner to represent emotion-related facial dynamics as linearly additive displacements to the previously acquired motion representations. Comprehensive experiments demonstrate that by incorporating the results from both modules, our method can generate satisfactory talking face results on arbitrary subjects with realistic emotion patterns.
updated: Tue May 31 2022 10:15:29 GMT+0000 (UTC)
published: Mon May 30 2022 17:39:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト