arXiv reaDer
PhysDiff: 物理学に基づく人間の動きの拡散モデル
PhysDiff: Physics-Guided Human Motion Diffusion Model
ノイズ除去拡散モデルは、多様でリアルな人間の動きを生成する上で大きな期待を集めています。しかし、既存のモーション拡散モデルは拡散プロセスにおける物理法則をほとんど無視しており、浮遊、足の滑り、地面の貫通などの顕著なアーティファクトを伴う物理的にありえないモーションを生成することがよくあります。これは、生成されたモーションの品質に重大な影響を与え、実際のアプリケーションを制限します。この問題に対処するために、拡散プロセスに物理的制約を組み込んだ新しい物理誘導運動拡散モデル (PhysDiff) を提案します。具体的には、物理​​シミュレータでのモーション模倣を使用して、拡散ステップのノイズ除去されたモーションを物理的に妥当なモーションに投影する、物理ベースのモーション投影モジュールを提案します。投影された動きは、次の拡散ステップでノイズ除去拡散プロセスをガイドするためにさらに使用されます。直観的には、モデルで物理学を使用すると、物理的に妥当な空間に向かって繰り返し動きを引き寄せることができますが、これは単純な後処理では実現できません。大規模な人間の動作データセットの実験では、私たちのアプローチが最先端の動作品質を達成し、物理的な妥当性が大幅に向上することが示されています (すべてのデータセットで > 78%)。
Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space, which cannot be achieved by simple post-processing. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).
updated: Fri Aug 18 2023 19:59:48 GMT+0000 (UTC)
published: Mon Dec 05 2022 18:59:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト