arXiv reaDer
Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition
  顔の外観を大きく変える可能性のあるオクルージョンとポーズのバリエーションは、自動表情認識(FER)の2つの大きな障害です。自動FERは過去数十年で大幅な進歩を遂げましたが、FERのオクルージョンロバストおよびポーズ不変の問題は、特に実際のシナリオでは比較的注目されていません。このホワイトペーパーでは、実世界でのポーズとオクルージョンのロバストなFER問題に3つの貢献をしています。最初に、実世界のオクルージョンとバリアントポーズの下でFERの研究を刺激するために、コミュニティ向けの手動注釈付きの野生の表情データセットをいくつか作成します。次に、オクルージョンとポーズバリアントFERの顔領域の重要性を適応的にキャプチャするために、新しい領域アテンションネットワーク(RAN)を提案します。 RANは、バックボーンたたみ込みニューラルネットワークによって生成されるさまざまな数の領域機能を集約し、コンパクトな固定長表現に埋め込みます。最後に、顔の表情は主に顔のアクションユニットによって定義されるという事実に触発され、最も重要な領域に高い注意の重みを奨励するために、領域に偏った損失を提案します。構築されたテストデータセットと4つの一般的なデータセット(FERPlus、AffectNet、RAF-DB、およびSFEW)の両方でRANおよび地域バイアス損失を検証します。広範な実験により、RANと領域に偏った損失により、オクルージョンとバリアントポーズを使用したFERのパフォーマンスが大幅に向上することが示されています。また、この方法により、FERPlus、AffectNet、RAF-DB、SFEWで最先端の結果が得られます。コードと収集されたテストデータは公開されます。
Occlusion and pose variations, which can change facial appearance significantly, are two major obstacles for automatic Facial Expression Recognition (FER). Though automatic FER has made substantial progresses in the past few decades, occlusion-robust and pose-invariant issues of FER have received relatively less attention, especially in real-world scenarios. This paper addresses the real-world pose and occlusion robust FER problem with three-fold contributions. First, to stimulate the research of FER under real-world occlusions and variant poses, we build several in-the-wild facial expression datasets with manual annotations for the community. Second, we propose a novel Region Attention Network (RAN), to adaptively capture the importance of facial regions for occlusion and pose variant FER. The RAN aggregates and embeds varied number of region features produced by a backbone convolutional neural network into a compact fixed-length representation. Last, inspired by the fact that facial expressions are mainly defined by facial action units, we propose a region biased loss to encourage high attention weights for the most important regions. We validate our RAN and region biased loss on both our built test datasets and four popular datasets: FERPlus, AffectNet, RAF-DB, and SFEW. Extensive experiments show that our RAN and region biased loss largely improve the performance of FER with occlusion and variant pose. Our method also achieves state-of-the-art results on FERPlus, AffectNet, RAF-DB, and SFEW. Code and the collected test data will be publicly available.
updated: Thu Sep 05 2019 02:06:24 GMT+0000 (UTC)
published: Fri May 10 2019 11:18:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト