arXiv reaDer
式のマスクされた学生データセット
Masked Student Dataset of Expressions
顔表情認識 (FER) アルゴリズムは、顔がほとんどまたはまったく遮られていない制約のある環境でうまく機能します。ただし、現実世界の顔の閉塞は一般的であり、現在の Covid-19 シナリオではフェイス マスクを使用する必要があることが最も顕著です。 FER のオクルージョンの問題については研究が行われていますが、特定のフェイス マスクのシナリオについてはこれまでほとんど行われていません。さらに、この分野のいくつかの研究では、合成的に作成されたマスクされた FER データセットを主に使用しています。パンデミックによってFERにもたらされたこれらの課題に動機付けられて、142人の個人から収集された1,960の実世界の非マスクおよびマスクされた表情画像で構成される、新しいデータセットであるMasked Student Dataset of ExpressionsまたはMSD-Eを提示します。難読化された顔の特徴の問題に加えて、マスクされた FER の他の微妙な問題がデータセットでどのように表されるかを示します。次に、ResNet-18 を使用してベースライン結果を提供し、マスクの存在下で FER のトレーニングを行うと、マスクされていない場合にパフォーマンスが低下することがわかりました。これに取り組むために、対照学習と知識蒸留という 2 つのトレーニング パラダイムをテストし、非マスク パフォーマンスを維持しながら、マスク シナリオでのモデルのパフォーマンスを向上させることを発見しました。 t-SNE プロットと Grad-CAM を使用して結果をさらに視覚化し、これらのパラダイムがマスクされたシナリオで利用可能な限られた機能を利用していることを示します。最後に、MSD-E で SOTA メソッドのベンチマークを行います。
Facial expression recognition (FER) algorithms work well in constrained environments with little or no occlusion of the face. However, real-world face occlusion is prevalent, most notably with the need to use a face mask in the current Covid-19 scenario. While there are works on the problem of occlusion in FER, little has been done before on the particular face mask scenario. Moreover, the few works in this area largely use synthetically created masked FER datasets. Motivated by these challenges posed by the pandemic to FER, we present a novel dataset, the Masked Student Dataset of Expressions or MSD-E, consisting of 1,960 real-world non-masked and masked facial expression images collected from 142 individuals. Along with the issue of obfuscated facial features, we illustrate how other subtler issues in masked FER are represented in our dataset. We then provide baseline results using ResNet-18, finding that its performance dips in the non-masked case when trained for FER in the presence of masks. To tackle this, we test two training paradigms: contrastive learning and knowledge distillation, and find that they increase the model's performance in the masked scenario while maintaining its non-masked performance. We further visualise our results using t-SNE plots and Grad-CAM, demonstrating that these paradigms capitalise on the limited features available in the masked scenario. Finally, we benchmark SOTA methods on MSD-E.
updated: Fri Apr 07 2023 23:43:21 GMT+0000 (UTC)
published: Fri Apr 07 2023 23:43:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト