この論文では、軽量畳み込みニューラルネットワークのマルチタスク学習を研究して、顔の識別と、マージンのないトリミングされた顔でトレーニングされた顔の属性(年齢、性別、民族性)の分類を行います。顔の表情を予測するためにこれらのネットワークを微調整する必要性が強調されています。 MobileNet、EfficientNet、およびRexNetアーキテクチャに基づいていくつかのモデルが提示されています。 UTKFaceデータセットでの年齢、性別、人種の認識、およびAffectNetデータセットでの感情分類において、ほぼ最先端の結果が得られることが実験的に実証されました。さらに、トレーニングされたモデルをビデオフレームの顔領域の特徴抽出器として使用すると、AFEWおよびEmotiWのVGAFデータセットの既知の最先端の単一モデルよりも4.5%高い精度が得られることが示されています。課題。モデルとソースコードは、https://github.com/HSE-asavchenko/face-emotion-recognitionで公開されています。
In this paper, the multi-task learning of lightweight convolutional neural networks is studied for face identification and classification of facial attributes (age, gender, ethnicity) trained on cropped faces without margins. The necessity to fine-tune these networks to predict facial expressions is highlighted. Several models are presented based on MobileNet, EfficientNet and RexNet architectures. It was experimentally demonstrated that they lead to near state-of-the-art results in age, gender and race recognition on the UTKFace dataset and emotion classification on the AffectNet dataset. Moreover, it is shown that the usage of the trained models as feature extractors of facial regions in video frames leads to 4.5% higher accuracy than the previously known state-of-the-art single models for the AFEW and the VGAF datasets from the EmotiW challenges. The models and source code are publicly available at https://github.com/HSE-asavchenko/face-emotion-recognition.