マイクロエクスプレッションは、人々の本当の気持ちや動機を反映したものであり、顔の自動マイクロエクスプレッション認識の研究にますます多くの研究者を引き付けています。短い検出ウィンドウ、微妙な顔の筋肉の動き、および限られたトレーニングサンプルにより、微妙な表情の認識が困難になります。この目的のために、我々は、グラフベースの推論(ICE-GAN)を備えた新しいアイデンティティ認識およびカプセル強化の敵対的生成ネットワーク(ICE-GAN)を提案し、認識を支援する補助タスクとしてマイクロ式合成を導入します。ジェネレーターは、制御可能な微妙な表情とアイデンティティ認識機能を備えた合成顔を生成します。その長距離の依存関係は、グラフ推論モジュール(GRM)を介してキャプチャされ、ディスクリミネーターは画像の信頼性と表現クラスを検出します。私たちのICE-GANは、Micro-Expression Grand Challenge 2019(MEGC2019)で評価され、勝者よりも大幅に改善され(12.9%)、他の最先端の方法を上回りました。
Micro-expressions are reflections of people's true feelings and motives, which attract an increasing number of researchers into the study of automatic facial micro-expression recognition. The short detection window, the subtle facial muscle movements, and the limited training samples make micro-expression recognition challenging. To this end, we propose a novel Identity-aware and Capsule-Enhanced Generative Adversarial Network with graph-based reasoning (ICE-GAN), introducing micro-expression synthesis as an auxiliary task to assist recognition. The generator produces synthetic faces with controllable micro-expressions and identity-aware features, whose long-ranged dependencies are captured through the graph reasoning module (GRM), and the discriminator detects the image authenticity and expression classes. Our ICE-GAN was evaluated on Micro-Expression Grand Challenge 2019 (MEGC2019) with a significant improvement (12.9%) over the winner and surpassed other state-of-the-art methods.