arXiv reaDer
マルチタスクマルチデータベース感情認識
Multitask Multi-database Emotion Recognition
この作品では、第2回感情行動分析インザワイルド(ABAW)2021コンペティションへの提出を紹介します。マルチデータベースで統合ディープラーニングモデルをトレーニングして、7つの基本的な表情予測と価数覚醒推定の2つのタスクを実行します。これらのデータベースには2つのタスクすべてのラベルが含まれていないため、蒸留知識手法を適用して、2つのネットワーク(1人の教師と1人の学生モデル)をトレーニングしました。学生モデルは、事前にトレーニングされた教師モデルから派生したグラウンドトゥルースラベルとソフトラベルの両方を使用してトレーニングされます。トレーニング中に、タスク間の相関関係をより有効に活用するために、前述の2つのタスクの組み合わせであるタスクをもう1つ追加します。また、競争で使用されるAffWild2データベースの2つのタスク間でビデオを共有することを利用して、ネットワークのパフォーマンスをさらに向上させます。実験結果は、ネットワークがAffWild2データベースの検証セットで有望な結果を達成したことを示しています。コードと事前トレーニング済みモデルは、https://github.com/glmanhtu/multitask-abaw-2021で公開されています。
In this work, we introduce our submission to the 2nd Affective Behavior Analysis in-the-wild (ABAW) 2021 competition. We train a unified deep learning model on multi-databases to perform two tasks: seven basic facial expressions prediction and valence-arousal estimation. Since these databases do not contains labels for all the two tasks, we have applied the distillation knowledge technique to train two networks: one teacher and one student model. The student model will be trained using both ground truth labels and soft labels derived from the pretrained teacher model. During the training, we add one more task, which is the combination of the two mentioned tasks, for better exploiting inter-task correlations. We also exploit the sharing videos between the two tasks of the AffWild2 database that is used in the competition, to further improve the performance of the network. Experiment results shows that the network have achieved promising results on the validation set of the AffWild2 database. Code and pretrained model are publicly available at https://github.com/glmanhtu/multitask-abaw-2021
updated: Thu Jul 08 2021 21:57:58 GMT+0000 (UTC)
published: Thu Jul 08 2021 21:57:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト