人間のモーション キャプチャに物理学を組み込んで、浮遊、足の滑り、地面の貫通などのアーチファクトを回避することは、有望な方向性です。既存のソリューションは常に運動学的結果を参照モーションとして採用し、物理学は後処理モジュールとして扱われます。ただし、深度の曖昧さのため、単眼モーション キャプチャでは必然的にノイズが発生し、ノイズの多い参照により物理ベースのトラッキングが失敗することがよくあります。障害に対処するために、私たちの重要なアイデアは、モデル化された姿勢確率分布から物理的に妥当な人間の動きを再構築するために、逆拡散プロセスのノイズ除去ガイダンスとして物理学を使用することです。具体的には、まず、逆拡散を容易にするために 2D から 3D へのリフティングの不確実性をエンコードする潜在ガウス モデルをトレーニングします。次に、分布からサンプリングされた動きを追跡する物理モジュールが構築されます。追跡された動きと画像観察の間の不一致は、逆拡散モデルが動きを改良するための明示的なガイダンスを提供するために使用されます。数回の反復により、物理ベースのトラッキングと運動学的ノイズ除去が相互に促進し、物理的に妥当な人間の動作が生成されます。実験結果は、私たちの方法がジョイントの精度と成功率の両方において以前の物理ベースの方法よりも優れていることを示しています。詳細については、https://github.com/Me-Ditto/Physics-Guided-Mocap を参照してください。
Incorporating physics in human motion capture to avoid artifacts like floating, foot sliding, and ground penetration is a promising direction. Existing solutions always adopt kinematic results as reference motions, and the physics is treated as a post-processing module. However, due to the depth ambiguity, monocular motion capture inevitably suffers from noises, and the noisy reference often leads to failure for physics-based tracking. To address the obstacles, our key-idea is to employ physics as denoising guidance in the reverse diffusion process to reconstruct physically plausible human motion from a modeled pose probability distribution. Specifically, we first train a latent gaussian model that encodes the uncertainty of 2D-to-3D lifting to facilitate reverse diffusion. Then, a physics module is constructed to track the motion sampled from the distribution. The discrepancies between the tracked motion and image observation are used to provide explicit guidance for the reverse diffusion model to refine the motion. With several iterations, the physics-based tracking and kinematic denoising promote each other to generate a physically plausible human motion. Experimental results show that our method outperforms previous physics-based methods in both joint accuracy and success rate. More information can be found at https://github.com/Me-Ditto/Physics-Guided-Mocap.