この論文では、データ内の解釈可能なパターンを明らかにし、生成的である、時間の経過に伴う3Dポーズデータのセグメンテーションのためのベイズスイッチング動的モデルを提案します。私たちのモデルは、相関性の高いスケルトンデータを、低次元の潜在的なフレームワークで時間的プロセスを切り替えるいくつかの空間的基盤のセットに分解します。マルチモーダルと高次の非線形相互依存性の両方に対応するために、事前に深いベクトル自己回帰の切り替えに関してこれらの時間的プロセスをパラメーター化します。これにより、近似変分推論を使用して3Dポーズデータのダイナミクスの意味のある固有状態を解析し、複雑なスケルトンの動きの現実的な低レベルの動的生成とセグメンテーションを可能にする、動的な深い生成潜在モデルが得られます。バットフライト、サルサダンス、ウォーキング、ゴルフのデータセットを含む4つの生体運動データに関する実験は、最先端の方法と比較して、モデルの優れたパフォーマンスを実証しています。
In this paper, we propose a Bayesian switching dynamical model for segmentation of 3D pose data over time that uncovers interpretable patterns in the data and is generative. Our model decomposes highly correlated skeleton data into a set of few spatial basis of switching temporal processes in a low-dimensional latent framework. We parameterize these temporal processes with regard to a switching deep vector autoregressive prior in order to accommodate both multimodal and higher-order nonlinear inter-dependencies. This results in a dynamical deep generative latent model that parses the meaningful intrinsic states in the dynamics of 3D pose data using approximate variational inference, and enables a realistic low-level dynamical generation and segmentation of complex skeleton movements. Our experiments on four biological motion data containing bat flight, salsa dance, walking, and golf datasets substantiate superior performance of our model in comparison with the state-of-the-art methods.