この論文は、物理的妥当性を課す多様性と運動補正を促進する運動合成を組み込んだ運動データ増強スキームを提示する。このモーション合成は、修正された変分オートエンコーダー(VAE)と逆運動学(IK)で構成されています。このVAEでは、提案されたサンプリングニアサンプル法は、トレーニングモーションデータが不十分な場合でも、さまざまな有効なモーションを生成します。 IKベースのモーション合成方法により、さまざまなモーションを半自動で生成できます。これらの2つのスキームは、合成されたモーションで非現実的なアーティファクトを生成するため、モーション補正によってそれらが修正されます。このモーション補正スキームは、物理シミュレーションによる模倣学習とそれに続くモーションデバイアスで構成されています。この模倣学習のために、トレーニングプロセスを大幅に加速するPD残留力を提案します。さらに、私たちのモーションバイアス除去は、模倣学習によって誘発されるモーションバイアスをうまく相殺して、増強の効果を最大化します。その結果、私たちの方法は、リカレントニューラルネットワークベースとグラフ畳み込みネットワークベースの人間の動き予測モデルの両方で、以前のノイズベースの動き増強方法を大幅に上回っています。コードはhttps://github.com/meaten/MotionAugで入手できます。
This paper presents a motion data augmentation scheme incorporating motion synthesis encouraging diversity and motion correction imposing physical plausibility. This motion synthesis consists of our modified Variational AutoEncoder (VAE) and Inverse Kinematics (IK). In this VAE, our proposed sampling-near-samples method generates various valid motions even with insufficient training motion data. Our IK-based motion synthesis method allows us to generate a variety of motions semi-automatically. Since these two schemes generate unrealistic artifacts in the synthesized motions, our motion correction rectifies them. This motion correction scheme consists of imitation learning with physics simulation and subsequent motion debiasing. For this imitation learning, we propose the PD-residual force that significantly accelerates the training process. Furthermore, our motion debiasing successfully offsets the motion bias induced by imitation learning to maximize the effect of augmentation. As a result, our method outperforms previous noise-based motion augmentation methods by a large margin on both Recurrent Neural Network-based and Graph Convolutional Network-based human motion prediction models. The code is available at https://github.com/meaten/MotionAug.