arXiv reaDer
拡散モーション: 拡散モデルによるテキストガイド付き 3D ヒューマン モーションの生成
Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model
あらゆる種類のアクションのさまざまな速度、方向、および構成を記述する複雑な自然言語文から 3D 人間の動きを生成するためのシンプルで斬新な方法を提案します。古典的な生成アーキテクチャを使用する既存の方法とは異なり、このタスクにノイズ除去拡散確率モデルを適用し、テキストのガイダンスの下で多様なモーション結果を合成します。拡散モデルは、一連のノイズ除去ステップを使用したマルコフ プロセスによってホワイト ノイズを構造化された 3D モーションに変換し、変分下限を最適化することによって効率的にトレーニングされます。テキスト調整された画像合成の目標を達成するために、分類器を使用しないガイダンス戦略を使用して、トレーニング中にテキスト埋め込みをモデルに融合します。私たちの実験は、私たちのモデルが HumanML3D テスト セットで競争力のある結果を定量的に達成し、より視覚的に自然で多様な例を生成できることを示しています。また、私たちのモデルが目に見えないテキストガイダンスのモーションをゼロショット生成できることも実験で示しています。
We propose a simple and novel method for generating 3D human motion from complex natural language sentences, which describe different velocity, direction and composition of all kinds of actions. Different from existing methods that use classical generative architecture, we apply the Denoising Diffusion Probabilistic Model to this task, synthesizing diverse motion results under the guidance of texts. The diffusion model converts white noise into structured 3D motion by a Markov process with a series of denoising steps and is efficiently trained by optimizing a variational lower bound. To achieve the goal of text-conditioned image synthesis, we use the classifier-free guidance strategy to fuse text embedding into the model during training. Our experiments demonstrate that our model achieves competitive results on HumanML3D test set quantitatively and can generate more visually natural and diverse examples. We also show with experiments that our model is capable of zero-shot generation of motions for unseen text guidance.
updated: Fri Apr 14 2023 14:39:54 GMT+0000 (UTC)
published: Sat Oct 22 2022 00:41:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト