arXiv reaDer
PhysDiff: 物理ガイドによる人間の動きの拡散モデル
PhysDiff: Physics-Guided Human Motion Diffusion Model
ノイズ除去拡散モデルは、多様でリアルな人間の動きを生成する上で非常に有望です。ただし、既存のモーション拡散モデルは、拡散プロセスにおける物理法則をほとんど無視しており、浮遊、足の滑り、地面への侵入などの顕著なアーティファクトを伴う、物理的に信じがたいモーションを生成することがよくあります。これは、生成されたモーションの品質に深刻な影響を与え、実際のアプリケーションを制限します。この問題に対処するために、拡散プロセスに物理的制約を組み込む新しい物理ガイド付きモーション拡散モデル (PhysDiff) を提示します。具体的には、物理シミュレータで動きの模倣を使用して、拡散ステップのノイズ除去された動きを物理的に妥当な動きに投影する物理ベースの動き投影モジュールを提案します。投影されたモーションは、ノイズ除去拡散プロセスをガイドするために、次の拡散ステップでさらに使用されます。直感的に、私たちのモデルで物理学を使用すると、動きが物理的に妥当な空間に向かって反復的に引き寄せられます。大規模な人間の動きのデータセットに関する実験は、私たちのアプローチが最先端の動きの品質を達成し、物理的な妥当性を大幅に改善することを示しています (すべてのデータセットで>78%)。
Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).
updated: Mon Dec 05 2022 18:59:52 GMT+0000 (UTC)
published: Mon Dec 05 2022 18:59:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト