人間の動きを記述する深層生成モデルは、ビデオベースの人間の姿勢推定にロバスト性を提供したり、オクルージョン中のモーション キャプチャ システムの完全な体の動きを予測したり、キー フレーム アニメーションを支援したりするなど、幅広い基本的なコンピューター ビジョンおよびグラフィックス タスクに役立ちます。もっともらしい動き。この論文では、大まかなモデリングと細かいモデリングを容易にするために、グローバルとローカルの潜在空間を組み合わせて使用して、特定のタスクから独立した複雑な人間の動きを学習する方法を紹介します。具体的には、2 レベルの階層的な潜在空間で構成される階層型モーション バリエーション オートエンコーダー (HM-VAE) を提案します。グローバル潜在空間が全体的な身体の動きをキャプチャする一方で、ローカル潜在空間はさまざまなボディ パーツの洗練されたポーズをキャプチャすることを可能にします。ビデオベースの人間の姿勢推定、部分的な観測からのモーション完了、まばらなキーフレームからのモーション合成など、さまざまなタスクでの階層型モーション変動オートエンコーダーの有効性を示します。私たちのモデルはこれらのタスクについて具体的にトレーニングされていませんが、タスク固有の代替案よりも優れたパフォーマンスを提供します。私たちの汎用的な人間の動きの事前モデルは、破損した人体のアニメーションを修正し、不完全な観察から完全な動きを生成できます。
A deep generative model that describes human motions can benefit a wide range of fundamental computer vision and graphics tasks, such as providing robustness to video-based human pose estimation, predicting complete body movements for motion capture systems during occlusions, and assisting key frame animation with plausible movements. In this paper, we present a method for learning complex human motions independent of specific tasks using a combined global and local latent space to facilitate coarse and fine-grained modeling. Specifically, we propose a hierarchical motion variational autoencoder (HM-VAE) that consists of a 2-level hierarchical latent space. While the global latent space captures the overall global body motion, the local latent space enables to capture the refined poses of the different body parts. We demonstrate the effectiveness of our hierarchical motion variational autoencoder in a variety of tasks including video-based human pose estimation, motion completion from partial observations, and motion synthesis from sparse key-frames. Even though, our model has not been trained for any of these tasks specifically, it provides superior performance than task-specific alternatives. Our general-purpose human motion prior model can fix corrupted human body animations and generate complete movements from incomplete observations.