人間の感情認識は、人間とコンピューターの相互作用における重要な要素です。ただし、実際のデータを使用したメソッド開発は、実際の使用にはまだ十分に正確ではありません。本稿では、2021年のAffective Behavior Analysis in-the-wild(ABAW)コンテストに提出された、表情(EXP)と価数覚醒計算に焦点を当てた感情認識法を紹介します。動画から表情に注釈を付ける場合、それはすべての人に共通する特徴だけでなく、個人の時系列の相対的な変化からも判断されるのではないかと考えました。そこで、各フレームの共通特徴を学習した後、各動画の共通特徴と標準化された特徴を組み合わせた後、時系列データを用いて表情推定モデルと価数覚醒モデルを構築しました。さらに、上記の特徴は、画像の特徴、AU、頭のポーズ、視線などのマルチモーダルデータを使用して学習されました。検証セットでは、モデルは0.546の表情スコアを達成しました。これらの検証結果は、提案されたフレームワークが推定の精度とロバスト性を効果的に改善できることを示しています。
Human affective recognition is an important factor in human-computer interaction. However, the method development with in-the-wild data is not yet accurate enough for practical usage. In this paper, we introduce the affective recognition method focusing on facial expression (EXP) and valence-arousal calculation that was submitted to the Affective Behavior Analysis in-the-wild (ABAW) 2021 Contest. When annotating facial expressions from a video, we thought that it would be judged not only from the features common to all people, but also from the relative changes in the time series of individuals. Therefore, after learning the common features for each frame, we constructed a facial expression estimation model and valence-arousal model using time-series data after combining the common features and the standardized features for each video. Furthermore, the above features were learned using multi-modal data such as image features, AU, Head pose, and Gaze. In the validation set, our model achieved a facial expression score of 0.546. These verification results reveal that our proposed framework can improve estimation accuracy and robustness effectively.