人間の動きの合成は、ロボット工学のグラフィックス、ゲーム、シミュレーション環境でのアプリケーションの重要な問題です。既存の方法では、トレーニングのために正確なモーションキャプチャデータが必要ですが、これは取得にコストがかかります。代わりに、はるかに広く利用可能な単眼RGBビデオから直接物理的にもっともらしい人間の動きの生成モデルをトレーニングするためのフレームワークを提案します。私たちの方法の中核は、物理的制約と接触に関する理由を微分可能な方法で適用することにより、不完全な画像ベースのポーズ推定を修正する新しい最適化の定式化です。この最適化により、修正された3Dポーズとモーション、およびそれらに対応する接触力が得られます。結果は、物理的に修正されたモーションが、ポーズ推定に関する以前の作業を大幅に上回っていることを示しています。次に、これらを使用して生成モデルをトレーニングし、将来のモーションを合成できます。以前の運動学的および物理学ベースの方法と比較して、大規模なHuman3.6mデータセットh36m_pamiでの方法によって達成された、定性的および定量的に大幅に改善された運動推定、合成品質、および物理的妥当性の両方を示します。ビデオからモーション合成の学習を可能にすることにより、私たちの方法は、大規模で現実的で多様なモーション合成への道を開きます。
Human motion synthesis is an important problem with applications in graphics, gaming and simulation environments for robotics. Existing methods require accurate motion capture data for training, which is costly to obtain. Instead, we propose a framework for training generative models of physically plausible human motion directly from monocular RGB videos, which are much more widely available. At the core of our method is a novel optimization formulation that corrects imperfect image-based pose estimations by enforcing physics constraints and reasons about contacts in a differentiable way. This optimization yields corrected 3D poses and motions, as well as their corresponding contact forces. Results show that our physically-corrected motions significantly outperform prior work on pose estimation. We can then use these to train a generative model to synthesize future motion. We demonstrate both qualitatively and quantitatively significantly improved motion estimation, synthesis quality and physical plausibility achieved by our method on the large scale Human3.6m dataset h36m_pami as compared to prior kinematic and physics-based methods. By enabling learning of motion synthesis from video, our method paves the way for large-scale, realistic and diverse motion synthesis.