1 人のアクションだけでなく、複数人のインタラクティブなアクションも含む、一般的なアクション条件付きの 3D ヒューマン モーション生成用の GAN ベースのトランスフォーマーを紹介します。私たちのアプローチは、Gaussian Process潜在事前確率を備えたGANトレーニングスキームの下での強力なアクション条件付きモーショントランスフォーマー(ActFormer)で構成されています。このような設計は、Transformer の強力な時空間表現能力、GAN の生成モデリングにおける優位性、潜在事前確率からの固有の時間相関を組み合わせたものです。さらに、時間相関と Transformer エンコーダーを使用した人間の相互作用を交互にモデル化することで、ActFormer を複数人の動きに自然に拡張できます。複数人のモーション生成に関する研究をさらに促進するために、複雑な複数人の戦闘行動の新しい合成データセットを導入します。 NTU-13、NTU RGB+D 120、BABEL、および提案された戦闘データセットに関する広範な実験は、私たちの方法がさまざまな人間の動きの表現に適応し、最先端の方法よりも優れたパフォーマンスを達成できることを示しています。これは、一般的な人間のモーションジェネレーターへの有望なステップを示しています。
We present a GAN-based Transformer for general action-conditioned 3D human motion generation, including not only single-person actions but also multi-person interactive actions. Our approach consists of a powerful Action-conditioned motion TransFormer (ActFormer) under a GAN training scheme, equipped with a Gaussian Process latent prior. Such a design combines the strong spatio-temporal representation capacity of Transformer, superiority in generative modeling of GAN, and inherent temporal correlations from the latent prior. Furthermore, ActFormer can be naturally extended to multi-person motions by alternately modeling temporal correlations and human interactions with Transformer encoders. To further facilitate research on multi-person motion generation, we introduce a new synthetic dataset of complex multi-person combat behaviors. Extensive experiments on NTU-13, NTU RGB+D 120, BABEL and the proposed combat dataset show that our method can adapt to various human motion representations and achieve superior performance over the state-of-the-art methods on both single-person and multi-person motion generation tasks, demonstrating a promising step towards a general human motion generator.