arXiv reaDer
人間の行動の特徴的な3Dポーズの予測
Forecasting Characteristic 3D Poses of Human Actions
特徴的な3Dポーズを予測するタスクを提案します。たとえば、人の単一のポーズ観察から、アクションを定義する可能性のある特徴的なポーズでのその人の将来の3Dポーズを予測します。たとえば、バナナを手に取っている人の観察から、バナナを食べる人のポーズを予測します。人間の動きの予測に関する以前の研究では、一定の時間間隔で将来のポーズを推定しています。定義するのは簡単ですが、このフレームごとの定式化は、人間の行動の時間的および意図的な側面を混乱させます。代わりに、人間の目標指向の行動からインスピレーションを得て、ポーズ予測を時間から切り離す目標指向のポーズ予測タスクを定義します。特徴的な目標ポーズを予測するために、可能な特徴的なポーズの分布における可能なマルチモダリティを最初にモデル化する確率論的アプローチを提案します。次に、予測された分布から将来のポーズ仮説を自己回帰的にサンプリングして、関節間の依存関係をモデル化し、骨の長さと角度の制約を使用して最終的なポーズを最適化します。私たちの方法を評価するために、手動で注釈を付けた単一フレームの観測と特徴的な3Dポーズのデータセットを構築します。このデータセットを使用した実験では、提案された確率論的アプローチが最先端のアプローチを平均22%上回っていることを示しています。
We propose the task of forecasting characteristic 3D poses: from a single pose observation of a person, to predict a future 3D pose of that person in a likely action-defining, characteristic pose - for instance, from observing a person picking up a banana, predict the pose of the person eating the banana. Prior work on human motion prediction estimates future poses at fixed time intervals. Although easy to define, this frame-by-frame formulation confounds temporal and intentional aspects of human action. Instead, we define a goal-directed pose prediction task that decouples pose prediction from time, taking inspiration from human, goal-directed behavior. To predict characteristic goal poses, we propose a probabilistic approach that first models the possible multi-modality in the distribution of possible characteristic poses. It then samples future pose hypotheses from the predicted distribution in an autoregressive fashion to model dependencies between joints and then optimizes the final pose with bone length and angle constraints. To evaluate our method, we construct a dataset of manually annotated single-frame observations and characteristic 3D poses. Our experiments with this dataset suggest that our proposed probabilistic approach outperforms state-of-the-art approaches by 22% on average.
updated: Mon Nov 30 2020 18:20:17 GMT+0000 (UTC)
published: Mon Nov 30 2020 18:20:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト