arXiv reaDer
HumanMAC: 人間の動きを予測するためのマスクされた動きの補完
HumanMAC: Masked Motion Completion for Human Motion Prediction
人間の動きの予測は、コンピューター ビジョンとコンピューター グラフィックスにおける古典的な問題であり、幅広い実用的なアプリケーションがあります。以前の効果は、エンコード/デコード スタイルに基づいて優れた経験的パフォーマンスを実現します。このスタイルのメソッドは、最初に前のモーションを潜在表現にエンコードし、次に潜在表現を予測モーションにデコードすることによって機能します。ただし、実際には、複雑な損失制約、面倒なトレーニング プロセス、予測におけるさまざまなカテゴリのモーションの切り替えが少ないなど、いくつかの問題があるため、まだ満足のいくものではありません。本稿では、上記の問題に対処するために、前述のスタイルから飛び出し、新しい視点から新しいフレームワークを提案します。具体的には、私たちのフレームワークはマスクされた補完方式で機能します。トレーニング段階では、ランダム ノイズからモーションを生成するモーション拡散モデルを学習します。推論段階では、ノイズ除去手順を使用して、観測された動きに対して動き予測条件付けを行い、より連続的で制御可能な予測を出力します。提案されたフレームワークは、有望なアルゴリズム特性を享受します。これは、最適化で 1 つの損失のみを必要とし、エンドツーエンドの方法でトレーニングされます。さらに、さまざまなカテゴリのモーションの切り替えを効果的に実行します。これは、アニメーション タスクなどの現実的なタスクで重要です。ベンチマークに関する包括的な実験により、提案されたフレームワークの優位性が確認されました。プロジェクト ページは https://lhchen.top/Human-MAC にあります。
Human motion prediction is a classical problem in computer vision and computer graphics, which has a wide range of practical applications. Previous effects achieve great empirical performance based on an encoding-decoding style. The methods of this style work by first encoding previous motions to latent representations and then decoding the latent representations into predicted motions. However, in practice, they are still unsatisfactory due to several issues, including complicated loss constraints, cumbersome training processes, and scarce switch of different categories of motions in prediction. In this paper, to address the above issues, we jump out of the foregoing style and propose a novel framework from a new perspective. Specifically, our framework works in a masked completion fashion. In the training stage, we learn a motion diffusion model that generates motions from random noise. In the inference stage, with a denoising procedure, we make motion prediction conditioning on observed motions to output more continuous and controllable predictions. The proposed framework enjoys promising algorithmic properties, which only needs one loss in optimization and is trained in an end-to-end manner. Additionally, it accomplishes the switch of different categories of motions effectively, which is significant in realistic tasks, e.g., the animation task. Comprehensive experiments on benchmarks confirm the superiority of the proposed framework. The project page is available at https://lhchen.top/Human-MAC.
updated: Mon Jul 17 2023 17:59:37 GMT+0000 (UTC)
published: Tue Feb 07 2023 18:34:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト