野生の顔の表情認識(FER)は、さまざまな背景、低品質の顔画像、およびアノテーターの主観性のために、コンピュータービジョンにおいて非常に困難な作業です。これらの不確実性により、ニューラルネットワークは限られた規模のデータセットで堅牢な機能を学習することが困難になります。さらに、ネットワークは上記の要因によって簡単に分散され、誤った決定を実行する可能性があります。最近、ビジョントランスフォーマー(ViT)とデータ効率の高いイメージトランスフォーマー(DeiT)は、従来の分類タスクで大きなパフォーマンスを発揮します。自己注意メカニズムにより、トランスフォーマーは第1層でグローバルな受容野を獲得し、特徴抽出機能を劇的に強化します。この作業では、最初に、2つのモジュールで構成される野生のFER用の新しい純粋なトランスベースのマスクビジョントランスフォーマー(MVT)を提案します。複雑なフィルターを除去できるマスクを生成するトランスフォーマーベースのマスク生成ネットワーク(MGN)です。顔画像の背景とオクルージョン、および野生のFERデータセット内の誤ったラベルを修正するための動的な再ラベル付けモジュール。広範な実験結果は、当社のMVTがRAF-DBで88.62%、FERPlusで89.22%、AffectNet-7で64.57%の最先端の方法をそれぞれ上回り、AffectNet-8で61.40と同等の結果を達成していることを示しています。 %。
Facial Expression Recognition (FER) in the wild is an extremely challenging task in computer vision due to variant backgrounds, low-quality facial images, and the subjectiveness of annotators. These uncertainties make it difficult for neural networks to learn robust features on limited-scale datasets. Moreover, the networks can be easily distributed by the above factors and perform incorrect decisions. Recently, vision transformer (ViT) and data-efficient image transformers (DeiT) present their significant performance in traditional classification tasks. The self-attention mechanism makes transformers obtain a global receptive field in the first layer which dramatically enhances the feature extraction capability. In this work, we first propose a novel pure transformer-based mask vision transformer (MVT) for FER in the wild, which consists of two modules: a transformer-based mask generation network (MGN) to generate a mask that can filter out complex backgrounds and occlusion of face images, and a dynamic relabeling module to rectify incorrect labels in FER datasets in the wild. Extensive experimental results demonstrate that our MVT outperforms state-of-the-art methods on RAF-DB with 88.62%, FERPlus with 89.22%, and AffectNet-7 with 64.57%, respectively, and achieves a comparable result on AffectNet-8 with 61.40%.