観察された動きから時空間の依存関係を探索することは、人間の動きを予測する上での中心的な課題の 1 つです。これまでの手法は主に、空間的および時間的依存関係をモデル化するための専用ネットワーク構造に焦点を当てていました。この論文では、補助タスクを備えたモデル学習フレームワークを導入することで、新しい方向性を検討します。私たちの補助タスクでは、体の部分的な関節の座標がマスキングまたはノイズの追加によって破損しており、目的は残りの座標に応じて破損した座標を回復することです。補助タスクを処理するために、不完全で破損したモーション データを処理し、時空間依存関係をキャプチャすることで座標の回復を達成できる、新しい補助適応トランスフォーマーを提案します。補助タスクを通じて、補助適応トランスフォーマーが身体関節の座標間のより包括的な時空間依存性を捕捉するように促進され、より優れた特徴学習につながります。広範な実験結果により、Human3.6M、CMU Mocap の 3D 平均関節位置誤差 (MPJPE) に関して、私たちの手法が 7.2%、3.7%、9.4% という顕著なマージンで最先端の手法を上回ることが示されました。 、3DPW データセットにそれぞれ対応します。また、データ欠損の場合やデータにノイズが多い場合において、この方法がより堅牢であることも示します。コードは https://github.com/MediaBrain-SJTU/AuxFormer で入手できます。
Exploring spatial-temporal dependencies from observed motions is one of the core challenges of human motion prediction. Previous methods mainly focus on dedicated network structures to model the spatial and temporal dependencies. This paper considers a new direction by introducing a model learning framework with auxiliary tasks. In our auxiliary tasks, partial body joints' coordinates are corrupted by either masking or adding noise and the goal is to recover corrupted coordinates depending on the rest coordinates. To work with auxiliary tasks, we propose a novel auxiliary-adapted transformer, which can handle incomplete, corrupted motion data and achieve coordinate recovery via capturing spatial-temporal dependencies. Through auxiliary tasks, the auxiliary-adapted transformer is promoted to capture more comprehensive spatial-temporal dependencies among body joints' coordinates, leading to better feature learning. Extensive experimental results have shown that our method outperforms state-of-the-art methods by remarkable margins of 7.2%, 3.7%, and 9.4% in terms of 3D mean per joint position error (MPJPE) on the Human3.6M, CMU Mocap, and 3DPW datasets, respectively. We also demonstrate that our method is more robust under data missing cases and noisy data cases. Code is available at https://github.com/MediaBrain-SJTU/AuxFormer.