本論文では、強いオクルージョン下での表情認識の課題について検討する。特に、顔の50%が閉塞している場合に関心があります。被験者がバーチャルリアリティ(VR)ヘッドセットを装着しているとき。以前の研究では、完全に表示されている(非遮蔽)面での事前トレーニング畳み込みニューラルネットワーク(CNN)が精度を向上させることを示していますが、知識の蒸留を利用してさらに改善することを提案します。まず、古典的な教師と生徒のトレーニング戦略を採用します。教師は完全に見える顔でトレーニングされたCNNであり、生徒は隠れた顔でトレーニングされたCNNです。第二に、三重項損失に基づく知識蒸留のための新しいアプローチを提案します。トレーニング中の目標は、オクルードされた顔を入力として受け取る学生CNNによって生成されるアンカー埋め込みと、完全にトレーニングされた教師CNNによって生成される(アンカーと同じクラスからの)ポジティブ埋め込みの間の距離を短くすることです。生徒のCNNによって生成された、アンカーと(アンカー以外のクラスからの)ネガティブ埋め込みとの間の距離よりも小さくなるように、表示されている顔。第3に、古典的な教師と生徒の戦略を通じて得られた蒸留埋め込みと、三重項損失に基づく新しい教師と生徒の戦略を1つの埋め込みベクトルに結合することを提案します。 2つのCNNアーキテクチャであるVGG-fとVGG-faceを使用して、FER +とAffectNetの2つのベンチマークで実験を行います。知識の抽出により、VR設定でオクルードされた顔のために設計された最先端の方法を大幅に改善できることが示されます。
In this paper, we study the task of facial expression recognition under strong occlusion. We are particularly interested in cases where 50% of the face is occluded, e.g. when the subject wears a Virtual Reality (VR) headset. While previous studies show that pre-training convolutional neural networks (CNNs) on fully-visible (non-occluded) faces improves the accuracy, we propose to employ knowledge distillation to achieve further improvements. First of all, we employ the classic teacher-student training strategy, in which the teacher is a CNN trained on fully-visible faces and the student is a CNN trained on occluded faces. Second of all, we propose a new approach for knowledge distillation based on triplet loss. During training, the goal is to reduce the distance between an anchor embedding, produced by a student CNN that takes occluded faces as input, and a positive embedding (from the same class as the anchor), produced by a teacher CNN trained on fully-visible faces, so that it becomes smaller than the distance between the anchor and a negative embedding (from a different class than the anchor), produced by the student CNN. Third of all, we propose to combine the distilled embeddings obtained through the classic teacher-student strategy and our novel teacher-student strategy based on triplet loss into a single embedding vector. We conduct experiments on two benchmarks, FER+ and AffectNet, with two CNN architectures, VGG-f and VGG-face, showing that knowledge distillation can bring significant improvements over the state-of-the-art methods designed for occluded faces in the VR setting.