感情行動分析は、人間とコンピューターの相互作用において重要な部分です。 TSAV [9]などの既存の成功した感情行動分析方法は、不完全なラベル付きデータセットの課題に悩まされています。そのパフォーマンスを向上させるために、このペーパーでは、半教師あり感情行動分析のマルチタスク平均教師モデルを提示して、欠落しているラベルから学習し、同時に複数の相関タスクの学習を調査します。具体的には、まずTSAVをベースラインモデルとして利用し、3つのタスクを同時に認識します。より良いセマンティクス情報を提供するために、レンダリングマスクの前処理方法を変更しました。その後、平均教師を使用してTSAVモデルを半教師ありモデルに拡張しました。これにより、ラベルのないデータの恩恵を受けることができます。検証データセットの実験結果は、提案されたネットワークが感情的な行動分析のパフォーマンスを高めるために追加のラベルなしデータを効果的に学習できることを検証するTSAVモデルよりも優れたパフォーマンスを達成することを示しています。
Affective Behavior Analysis is an important part in human?computer interaction. Existing successful affective behavior analysis method such as TSAV[9] suffer from challenge of incomplete labeled datasets. To boost its performance, this paper presents a multi-task mean teacher model for semi?supervised Affective Behavior Analysis to learn from missing labels and exploring the learning of multiple correlated task simultaneously. To be specific, we first utilize TSAV as baseline model to simultaneously recognize the three tasks. We have modified the preprocessing method of rendering mask to provide better semantics information. After that, we extended TSAV model to semi-supervised model using mean teacher, which allow it to be benefited from unlabeled data. Experimental results on validation datasets show that our method achieves better performance than TSAV model, which verifies that the proposed network can effectively learn additional unlabeled data to boost the affective behavior analysis performance.