arXiv reaDer
3D人間の動きの予測と分類
3D Human motion anticipation and classification
人間の動きの予測と理解は難しい問題です。人間の動きの複雑なダイナミクスと将来の予測の非決定論的側面のため。人間の動きのアニメーションからインスピレーションを得て、複数の予測された動きの間の変動を制御できるカスタム損失関数を使用して、生成的敵対的ネットワークの修正バージョンでトレーニングされた、人間の動きの予測と特徴学習のための新しいシーケンス間モデルを提案します。同じ入力ポーズ。私たちのモデルは、同じ入力シーケンスから人間のポーズの複数の将来のシーケンスを予測することを学習します。弁別器は、行動認識タスクで学習した機能を使用して、人間の動きの一般的な表現を学習することを示します。さらに、非決定論的予測の品質を定量化するために、ポーズの特定のシーケンスが実際の人間の動きであるかどうかの確率を学習する動き品質評価ネットワークを同時にトレーニングします。 2つの最大の人間のポーズデータセットであるNTURGB-DとHuman3.6Mでモデルをテストします。単一のアクションタイプと複数のアクションタイプの両方でトレーニングします。動き推定の予測力は、同じ入力から複数のもっともらしい先物を生成することによって示され、各損失関数の効果を示します。さらに、弁別器から学習した機能を使用して、活動認識ネットワークをトレーニングするのに必要なエポック数が半分未満であることを示します。
Human motion prediction and understanding is a challenging problem. Due to the complex dynamic of human motion and the non-deterministic aspect of future prediction. We propose a novel sequence-to-sequence model for human motion prediction and feature learning, trained with a modified version of generative adversarial network, with a custom loss function that takes inspiration from human motion animation and can control the variation between multiple predicted motion from the same input poses. Our model learns to predict multiple future sequences of human poses from the same input sequence. We show that the discriminator learns general presentation of human motion by using the learned feature in action recognition task. Furthermore, to quantify the quality of the non-deterministic predictions, we simultaneously train a motion-quality-assessment network that learns the probability that a given sequence of poses is a real human motion or not. We test our model on two of the largest human pose datasets: NTURGB-D and Human3.6M. We train on both single and multiple action types. Its predictive power for motion estimation is demonstrated by generating multiple plausible futures from the same input and show the effect of each of the loss functions. Furthermore, we show that it takes less than half the number of epochs to train an activity recognition network by using the feature learned from the discriminator.
updated: Thu Dec 31 2020 00:19:39 GMT+0000 (UTC)
published: Thu Dec 31 2020 00:19:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト