もっともらしく制御可能な3D人間の動きのアニメーションの作成は、熟練したアーティストの手動介入を必要とする長年の問題です。現在の機械学習アプローチでは、プロセスを半自動化できますが、大幅な制限があります。予想されるモーションの単一の軌道しか処理できないため、出力をきめ細かく制御できません。この問題を軽減するために、将来のポーズ予測の問題を、複数の軌道が関節のないポーズとして表される空間と時間でのポーズ完了に再定式化します。そのようなフレームワークが、将来のポーズ予測のために設計された他のニューラルネットワークに一般化できることを示します。このフレームワークでトレーニングされると、モデルは任意の数の軌道からシーケンスを予測できるようになります。このアイデアに基づいて、3D人間アニメーションの多用途フレームワークを提供する新しいトランスフォーマーのようなアーキテクチャであるTrajeVAEを提案します。 TrajeVAEは、過去のポーズに基づいて予測を行う軌道ベースの参照アプローチや方法よりも優れた精度を提供することを示しています。また、最初のポーズのみが提供されている場合でも、合理的な将来のポーズを予測できることも示しています。
The creation of plausible and controllable 3D human motion animations is a long-standing problem that requires a manual intervention of skilled artists. Current machine learning approaches can semi-automate the process, however, they are limited in a significant way: they can handle only a single trajectory of the expected motion that precludes fine-grained control over the output. To mitigate that issue, we reformulate the problem of future pose prediction into pose completion in space and time where multiple trajectories are represented as poses with missing joints. We show that such a framework can generalize to other neural networks designed for future pose prediction. Once trained in this framework, a model is capable of predicting sequences from any number of trajectories. We propose a novel transformer-like architecture, TrajeVAE, that builds on this idea and provides a versatile framework for 3D human animation. We demonstrate that TrajeVAE offers better accuracy than the trajectory-based reference approaches and methods that base their predictions on past poses. We also show that it can predict reasonable future poses even if provided only with an initial pose.