ボディランゲージから感情を推測する人間の能力に触発されて、通常のRGBビデオから始まるボディランゲージベースの感情認識のための自動化されたフレームワークを提案します。心理学者と協力して、精神症状予測のフレームワークをさらに拡張します。提案されたフレームワークの特定のアプリケーションドメインは限られた量のデータしか提供しない可能性があるため、フレームワークは小さなトレーニングセットで動作し、優れた転送可能性を備えているように設計されています。最初の段階で提案されたシステムは、入力ビデオから推定された人間のポーズに基づいてボディランゲージ予測のシーケンスを生成します。第2段階では、予測されたシーケンスは、感情の解釈と精神症状の予測のために時間ネットワークに送られます。まず、いくつかの公共行動認識データセットで、提案されたボディランゲージ認識方法の精度と転送可能性を検証します。次に、提案されたURMCデータセットのフレームワークを評価します。これは、標準化された患者と行動医療専門家の間の会話と、ボディランゲージ、感情、および潜在的な精神症状の専門家による注釈で構成されます。提案されたフレームワークは、URMCデータセットの他の方法よりも優れています。
Inspired by the human ability to infer emotions from body language, we propose an automated framework for body language based emotion recognition starting from regular RGB videos. In collaboration with psychologists, we further extend the framework for psychiatric symptom prediction. Because a specific application domain of the proposed framework may only supply a limited amount of data, the framework is designed to work on a small training set and possess a good transferability. The proposed system in the first stage generates sequences of body language predictions based on human poses estimated from input videos. In the second stage, the predicted sequences are fed into a temporal network for emotion interpretation and psychiatric symptom prediction. We first validate the accuracy and transferability of the proposed body language recognition method on several public action recognition datasets. We then evaluate the framework on a proposed URMC dataset, which consists of conversations between a standardized patient and a behavioral health professional, along with expert annotations of body language, emotions, and potential psychiatric symptoms. The proposed framework outperforms other methods on the URMC dataset.