arXiv reaDer
人間の行動の特徴的な3Dポーズの予測
Forecasting Characteristic 3D Poses of Human Actions
特徴的な3Dポーズを予測するタスクを提案します。たとえば、人の単眼ビデオ観察から、アクションを定義する可能性のある特徴的なポーズでのその人の将来の3Dポーズを予測します。たとえば、バナナに手を伸ばす人を観察することから、バナナを食べる人のポーズを予測します。人間の動きの予測に関する以前の研究では、一定の時間間隔で将来のポーズを推定しています。定義するのは簡単ですが、このフレームごとの定式化は、人間の行動の時間的および意図的な側面を混乱させます。代わりに、目標指向の行動からインスピレーションを得て、予測されたポーズを時間から切り離す、意味的に意味のあるポーズ予測タスクを定義します。特徴的なポーズを予測するために、可能性のある特徴的なポーズの分布で可能なマルチモダリティを最初にモデル化する確率論的アプローチを提案します。次に、自己回帰方式で予測された分布から将来のポーズ仮説をサンプリングして、関節間の依存関係をモデル化し、最終的に、骨の長さと角度の制約を使用して結果のポーズを最適化します。私たちの方法を評価するために、手動で注釈を付けた特徴的な3Dポーズのデータセットを構築します。このデータセットを使用した実験では、提案された確率論的アプローチが最先端の方法を平均22%上回っていることを示しています。
We propose the task of forecasting characteristic 3D poses: from a monocular video observation of a person, to predict a future 3D pose of that person in a likely action-defining, characteristic pose - for instance, from observing a person reaching for a banana, predict the pose of the person eating the banana. Prior work on human motion prediction estimates future poses at fixed time intervals. Although easy to define, this frame-by-frame formulation confounds temporal and intentional aspects of human action. Instead, we define a semantically meaningful pose prediction task that decouples the predicted pose from time, taking inspiration from goal-directed behavior. To predict characteristic poses, we propose a probabilistic approach that first models the possible multi-modality in the distribution of likely characteristic poses. It then samples future pose hypotheses from the predicted distribution in an autoregressive fashion to model dependencies between joints and finally optimizes the resulting pose with bone length and angle constraints. To evaluate our method, we construct a dataset of manually annotated characteristic 3D poses. Our experiments with this dataset suggest that our proposed probabilistic approach outperforms state-of-the-art methods by 22% on average.
updated: Wed Apr 07 2021 17:58:08 GMT+0000 (UTC)
published: Mon Nov 30 2020 18:20:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト