arXiv reaDer
4D表情拡散モデル
4D Facial Expression Diffusion Model
顔の表情の生成は、キャラクター アニメーションの最も困難で長い間求められてきた側面の 1 つであり、多くの興味深い用途があります。伝統的にデジタル職人に大きく依存してきた挑戦的な仕事は、まだ探求されていない.この論文では、任意の 3D 顔メッシュをアニメーション化するためにさまざまな入力で条件付けできる 3D 顔の表情シーケンス (つまり 4D 顔) を生成するための生成フレームワークを紹介します。これは、(1) 一連の 3D ランドマーク シーケンスでトレーニングされる生成モデルの学習、および (2) 生成されたランドマーク シーケンスによって駆動される入力顔メッシュの 3D メッシュ シーケンスの生成という 2 つのタスクで構成されます。生成モデルは、他のドメインの生成タスクで目覚ましい成功を収めたノイズ除去拡散確率モデル (DDPM) に基づいています。無条件にトレーニングできますが、その逆のプロセスは、さまざまな条件信号によって調整される可能性があります。これにより、式ラベル、テキスト、部分シーケンス、または単に顔のジオメトリを使用して、さまざまな条件付き生成を含むいくつかのダウンストリーム タスクを効率的に開発できます。完全なメッシュ変形を取得するために、ランドマーク ガイド付きエンコーダー デコーダーを開発して、特定の顔メッシュのランドマークに埋め込まれた幾何学的変形を適用します。実験は、私たちのモデルが、最先端の方法よりも改善された、比較的小さなサイズのデータセットからのみ現実的で質の高い表現を生成することを学習したことを示しています。ビデオと他の方法との定性的な比較は、https://github.com/ZOUKaifeng/4DFM にあります。コードとモデルは、承認後に利用可能になります。
Facial expression generation is one of the most challenging and long-sought aspects of character animation, with many interesting applications. The challenging task, traditionally having relied heavily on digital craftspersons, remains yet to be explored. In this paper, we introduce a generative framework for generating 3D facial expression sequences (i.e. 4D faces) that can be conditioned on different inputs to animate an arbitrary 3D face mesh. It is composed of two tasks: (1) Learning the generative model that is trained over a set of 3D landmark sequences, and (2) Generating 3D mesh sequences of an input facial mesh driven by the generated landmark sequences. The generative model is based on a Denoising Diffusion Probabilistic Model (DDPM), which has achieved remarkable success in generative tasks of other domains. While it can be trained unconditionally, its reverse process can still be conditioned by various condition signals. This allows us to efficiently develop several downstream tasks involving various conditional generation, by using expression labels, text, partial sequences, or simply a facial geometry. To obtain the full mesh deformation, we then develop a landmark-guided encoder-decoder to apply the geometrical deformation embedded in landmarks on a given facial mesh. Experiments show that our model has learned to generate realistic, quality expressions solely from the dataset of relatively small size, improving over the state-of-the-art methods. Videos and qualitative comparisons with other methods can be found at https://github.com/ZOUKaifeng/4DFM. Code and models will be made available upon acceptance.
updated: Wed Mar 29 2023 11:50:21 GMT+0000 (UTC)
published: Wed Mar 29 2023 11:50:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト