arXiv reaDer
Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition
ここ数年、深層学習手法は、野生の自動表情認識 (FER) を含む多くの顔関連タスクで目覚ましい結果を示しています。一方、心理学のコミュニティでは、人間の感情状態を説明するモデルが数多く提案されています。ただし、どちらの表現がより適切であるかについて明確な証拠はなく、大多数の FER システムは、感情のカテゴリまたは次元モデルのいずれかを使用しています。マルチラベル分類における最近の研究に着想を得て、この論文は、グラフ畳み込みネットワーク (GCN) を使用してこれらの 2 つのモデル間の依存関係を利用して、野生の顔の表情を認識する新しいマルチタスク学習 (MTL) フレームワークを提案します。具体的には、MTL 設定での離散認識と連続認識の両方について、共有された特徴表現が学習されます。さらに、表情分類子と価数覚醒回帰子は、それらの間の依存関係を明示的にキャプチャする GCN を通じて学習されます。実際の条件下でのメソッドのパフォーマンスを評価するために、AffectNet データセットでモデルをトレーニングします。私たちの実験の結果は、私たちの方法が離散 FER の現在の最先端の方法よりも優れていることを示しています。
Over the past few years, deep learning methods have shown remarkable results in many face-related tasks including automatic facial expression recognition (FER) in-the-wild. Meanwhile, numerous models describing the human emotional states have been proposed by the psychology community. However, we have no clear evidence as to which representation is more appropriate and the majority of FER systems use either the categorical or the dimensional model of affect. Inspired by recent work in multi-label classification, this paper proposes a novel multi-task learning (MTL) framework that exploits the dependencies between these two models using a Graph Convolutional Network (GCN) to recognize facial expressions in-the-wild. Specifically, a shared feature representation is learned for both discrete and continuous recognition in a MTL setting. Moreover, the facial expression classifiers and the valence-arousal regressors are learned through a GCN that explicitly captures the dependencies between them. To evaluate the performance of our method under real-world conditions we train our models on AffectNet dataset. The results of our experiments show that our method outperforms the current state-of-the-art methods on discrete FER.
updated: Mon Jun 07 2021 10:20:05 GMT+0000 (UTC)
published: Mon Jun 07 2021 10:20:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト