arXiv reaDer
GMD: 誘導拡散モデルによる制御可能な人間の動きの合成
GMD: Controllable Human Motion Synthesis via Guided Diffusion Models
ノイズ除去拡散モデルは、自然言語記述を条件とした人間の動きの合成において大きな期待を示しています。しかし、人間の孤立した動きとその周囲の環境との間のギャップを埋めるために不可欠な、事前に定義された動きの軌道や障害物などの空間的制約を統合することは依然として課題です。この問題に対処するために、モーション生成プロセスに空間制約を組み込む方法である Guided Motion Diffusion (GMD) を提案します。具体的には、空間情報と局所姿勢の間の一貫性を大幅に強化する効果的な特徴投影スキームを提案します。新しい代入公式と組み合わせることで、生成されたモーションはグローバル モーション軌道などの空間制約に確実に準拠できます。さらに、疎な空間制約(疎なキーフレームなど)を考慮して、拡散モデルのデノイザーを利用して疎な信号をより密な信号に変換し、生成モーションを与えられた制約に効果的に誘導する、新しい密なガイダンス アプローチを導入します。広範な実験により、GMD の開発が正当化されました。GMD は、空間的制約を使用して合成されたモーションを制御しながら、テキストベースのモーション生成における最先端の方法よりも大幅な改善を達成しました。
Denoising diffusion models have shown great promise in human motion synthesis conditioned on natural language descriptions. However, it remains a challenge to integrate spatial constraints, such as pre-defined motion trajectories and obstacles, which is essential for bridging the gap between isolated human motion and its surrounding environment. To address this issue, we propose Guided Motion Diffusion (GMD), a method that incorporates spatial constraints into the motion generation process. Specifically, we propose an effective feature projection scheme that largely enhances the coherency between spatial information and local poses. Together with a new imputation formulation, the generated motion can reliably conform to spatial constraints such as global motion trajectories. Furthermore, given sparse spatial constraints (e.g. sparse keyframes), we introduce a new dense guidance approach that utilizes the denoiser of diffusion models to turn a sparse signal into denser signals, effectively guiding the generation motion to the given constraints. The extensive experiments justify the development of GMD, which achieves a significant improvement over state-of-the-art methods in text-based motion generation while being able to control the synthesized motions with spatial constraints.
updated: Sun May 21 2023 21:54:31 GMT+0000 (UTC)
published: Sun May 21 2023 21:54:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト