arXiv reaDer
混合密度ネットワークを介して単一の画像から多様な人間の動きを予測することを学ぶ
Learning to Predict Diverse Human Motions from a Single Image via Mixture Density Networks
コンピュータビジョンで重要な役割を果たす人間の動きの予測は、通常、入力として過去の動きのシーケンスを必要とします。ただし、実際のアプリケーションでは、完全で正しい過去のモーションシーケンスは、コストがかかりすぎて達成できない場合があります。この論文では、混合密度ネットワーク(MDN)モデリングを使用して、はるかに弱い条件、つまり単一の画像から将来の人間の動きを予測するための新しいアプローチを提案します。ほとんどの既存の深い人間の動きの予測アプローチとは対照的に、MDNのマルチモーダルな性質により、多様な将来の動きの仮説を生成できます。これは、単一の入力と人間の動きの不確実性によって集約された強い確率的あいまいさを十分に補います。損失関数を設計する際に、MDNの学習可能なパラメータよりもエネルギーベースの事前設定をさらに導入して、モーションコヒーレンスを維持し、予測精度を向上させます。トレーニング済みのモデルは、入力として画像を直接取得し、指定された条件を満たす複数のもっともらしいモーションを生成します。 2つの標準ベンチマークデータセットでの広範な実験は、予測の多様性と精度の観点から、私たちの方法の有効性を示しています。
Human motion prediction, which plays a key role in computer vision, generally requires a past motion sequence as input. However, in real applications, a complete and correct past motion sequence can be too expensive to achieve. In this paper, we propose a novel approach to predict future human motions from a much weaker condition, i.e., a single image, with mixture density networks (MDN) modeling. Contrary to most existing deep human motion prediction approaches, the multimodal nature of MDN enables the generation of diverse future motion hypotheses, which well compensates for the strong stochastic ambiguity aggregated by the single input and human motion uncertainty. In designing the loss function, we further introduce an energy-based prior over learnable parameters of MDN to maintain motion coherence, as well as improve the prediction accuracy. Our trained model directly takes an image as input and generates multiple plausible motions that satisfy the given condition. Extensive experiments on two standard benchmark datasets demonstrate the effectiveness of our method, in terms of prediction diversity and accuracy.
updated: Mon Sep 13 2021 08:49:33 GMT+0000 (UTC)
published: Mon Sep 13 2021 08:49:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト