顔の表情認識(FER)は、顔のバリエーションを指す分類タスクです。したがって、顔の表情の間には特定の密接な関係があります。これらをアフィニティ機能と呼びますが、現在のFERアルゴリズムではほとんど考慮されていません。さらに、画像のエッジ情報をキャプチャするために、畳み込みニューラルネットワーク(CNN)は通常、多数のエッジパディングを利用します。それらは望ましいものですが、フィーチャマップは多層畳み込みの後に深く侵食されます。この過程で形成されたアルビノの特徴に名前を付けます。これは、表現の表現を確実に弱めます。これらの課題に取り組むために、Amend Representation Module(ARM)という名前の新しいアーキテクチャを提案します。 ARMはプーリングレイヤーの代わりになります。理論的には、プーリングレイヤーを備えた任意のCNNに埋め込むことができます。 ARMは、2つの異なる方向から顔の表情表現を効率的に強化します。1)侵食された特徴の重みを減らしてパディングの副作用を相殺し、2)ミニバッチ上で親和性特徴を共有して表現学習を強化します。データの不均衡に関しては、ネットワークの過剰適合を抑制するために、最小ランダムリサンプリング(MRR)スキームを設計しました。公開ベンチマークでの実験は、私たちのARMがFERのパフォーマンスを著しく向上させることを証明しています。検証精度は、RAF-DBでそれぞれ90.55%、Affect-Netで64.49%、FER2013で71.38%であり、現在の最先端の方法を上回っています。
Facial Expression Recognition (FER) is a classification task that points to face variants. Hence, there are certain intimate relationships between facial expressions. We call them affinity features, which are barely taken into account by current FER algorithms. Besides, to capture the edge information of the image, Convolutional Neural Networks (CNNs) generally utilize a host of edge paddings. Although they are desirable, the feature map is deeply eroded after multi-layer convolution. We name what has formed in this process the albino features, which definitely weaken the representation of the expression. To tackle these challenges, we propose a novel architecture named Amend Representation Module (ARM). ARM is a substitute for the pooling layer. Theoretically, it could be embedded in any CNN with a pooling layer. ARM efficiently enhances facial expression representation from two different directions: 1) reducing the weight of eroded features to offset the side effect of padding, and 2) sharing affinity features over mini-batch to strengthen the representation learning. In terms of data imbalance, we designed a minimal random resampling (MRR) scheme to suppress network overfitting. Experiments on public benchmarks prove that our ARM boosts the performance of FER remarkably. The validation accuracies are respectively 90.55% on RAF-DB, 64.49% on Affect-Net, and 71.38% on FER2013, exceeding current state-of-the-art methods.