顔の表情認識(FER)は、顔のバリエーションを指す分類タスクです。したがって、顔の表情の間には特定の親和性の特徴があり、FERの文献ではほとんど注目されていません。畳み込みパディングは、エッジ情報のキャプチャに役立ちますが、同時に特徴マップの侵食を引き起こします。多層充填畳み込みの後、アルビノ特徴という名前の出力特徴マップは、式の表現を確実に弱めます。これらの課題に取り組むために、Amending Representation Module(ARM)という名前の新しいアーキテクチャを提案します。 ARMはプーリングレイヤーの代わりになります。理論的には、パディングエロージョンに対処するために任意のネットワークのバックエンドに埋め込むことができます。 ARMは、2つの異なる方向から顔の表情表現を効率的に強化します。1)侵食された特徴の重みを減らしてパディングの副作用を相殺し、2)ミニバッチ上で親和性特徴を共有して表現学習を強化します。公開ベンチマークでの実験は、私たちのARMがFERのパフォーマンスを著しく向上させることを証明しています。検証精度は、RAF-DBでそれぞれ92.05%、Affect-Netで65.2%、SFEWで58.71%であり、現在の最先端の方法を上回っています。私たちの実装とトレーニング済みモデルは、https://github.com/JiaweiShiCV/Amend-Representation-Moduleで入手できます。
Facial Expression Recognition (FER) is a classification task that points to face variants. Hence, there are certain affinity features between facial expressions, receiving little attention in the FER literature. Convolution padding, despite helping capture the edge information, causes erosion of the feature map simultaneously. After multi-layer filling convolution, the output feature map named albino feature definitely weakens the representation of the expression. To tackle these challenges, we propose a novel architecture named Amending Representation Module (ARM). ARM is a substitute for the pooling layer. Theoretically, it can be embedded in the back end of any network to deal with the Padding Erosion. ARM efficiently enhances facial expression representation from two different directions: 1) reducing the weight of eroded features to offset the side effect of padding, and 2) sharing affinity features over mini-batch to strengthen the representation learning. Experiments on public benchmarks prove that our ARM boosts the performance of FER remarkably. The validation accuracies are respectively 92.05% on RAF-DB, 65.2% on Affect-Net, and 58.71% on SFEW, exceeding current state-of-the-art methods. Our implementation and trained models are available at https://github.com/JiaweiShiCV/Amend-Representation-Module.