ビデオまたはモーションキャプチャデータから取得され、3Dポーズのシーケンスとして表される歩行スタイルから知覚される人間の感情を分類する、オートエンコーダベースの半教師付きアプローチを提示します。 3Dポーズシーケンスから抽出された各タイムステップでのポーズの各関節の動きを考慮して、これらの関節の動きを人体の運動連鎖に従ってエンコーダーでボトムアップ方式で階層的にプールします。また、エンコーダーの潜在的な埋め込みを制限して、歩行の基礎となる心理的動機付けの感情的特徴のスペースを含めるようにします。潜在的な埋め込みからトップダウン方式で、ジョイントごとのタイムステップごとのモーションを再構築するようにデコーダーをトレーニングします。注釈付きデータの場合、潜在的な埋め込みを感情ラベルにマップするように分類子をトレーニングします。私たちの半教師付きアプローチは、複数のソースから収集されたラベル付けされた歩行とラベル付けされていない歩行の両方が含まれるEmotion-Gaitベンチマークデータセットで平均平均精度0.84を達成します。 3D歩行からの感情認識と行動認識の両方の現在の最先端のアルゴリズムよりも絶対的に7%から23%優れています。さらに重要なのは、それぞれがEmotion-Gaitベンチマークデータセットのラベル付けされた部分の25%未満を構成するクラスの絶対値で、平均精度を10%から50%改善することです。
We present an autoencoder-based semi-supervised approach to classify perceived human emotions from walking styles obtained from videos or motion-captured data and represented as sequences of 3D poses. Given the motion on each joint in the pose at each time step extracted from 3D pose sequences, we hierarchically pool these joint motions in a bottom-up manner in the encoder, following the kinematic chains in the human body. We also constrain the latent embeddings of the encoder to contain the space of psychologically-motivated affective features underlying the gaits. We train the decoder to reconstruct the motions per joint per time step in a top-down manner from the latent embeddings. For the annotated data, we also train a classifier to map the latent embeddings to emotion labels. Our semi-supervised approach achieves a mean average precision of 0.84 on the Emotion-Gait benchmark dataset, which contains both labeled and unlabeled gaits collected from multiple sources. We outperform current state-of-art algorithms for both emotion recognition and action recognition from 3D gaits by 7%--23% on the absolute. More importantly, we improve the average precision by 10%--50% on the absolute on classes that each makes up less than 25% of the labeled part of the Emotion-Gait benchmark dataset.