マイクロエクスプレッション(ME)は、人々が本当の気持ちを隠そうとしたり、感情を隠そうとしたりするときに発生する、短くて不随意の表情です。心理学の研究に基づいて、MEは本物の感情を理解する上で重要な役割を果たし、それは多くの潜在的なアプリケーションにつながります。したがって、ME分析は、心理学、法執行機関、心理療法などのさまざまな研究分野にとって魅力的なトピックになっています。コンピュータビジョンの分野では、MEの研究は、ビデオ内のMEの位置を特定し、検出されたMEの感情カテゴリを決定するために使用される、スポッティングと認識という2つの主要なタスクに分けることができます。最近、多くの研究が行われていますが、2つの主な理由から、MEを分析するための完全自動システムはまだ実用レベルで構築されていません。MEに関する研究のほとんどは、スポッティングタスクを放棄し、認識部分のみに焦点を当てています。 MEスポッティングの現在の公開データセットは、堅牢なスポッティングアルゴリズムの開発をサポートするのに十分なほど挑戦的ではありません。このホワイトペーパーの貢献は3つあります。(1)SMIC-Eデータベースの拡張機能であるSMIC-E-Longデータベースを紹介します。これは、MEスポッティングの新しい挑戦的なベンチマークです。 (2)さまざまなMEスポッティング手法の比較を標準化する新しい評価プロトコルを提案します。 (3)ベースライン評価のために、SMIC-E-Longデータベースで手作りのディープラーニングベースのアプローチを使用した広範な実験が実行されます。
Micro-expressions (MEs) are brief and involuntary facial expressions that occur when people are trying to hide their true feelings or conceal their emotions. Based on psychology research, MEs play an important role in understanding genuine emotions, which leads to many potential applications. Therefore, ME analysis has become an attractive topic for various research areas, such as psychology, law enforcement, and psychotherapy. In the computer vision field, the study of MEs can be divided into two main tasks, spotting and recognition, which are used to identify positions of MEs in videos and determine the emotion category of the detected MEs, respectively. Recently, although much research has been done, no fully automatic system for analyzing MEs has yet been constructed on a practical level for two main reasons: most of the research on MEs only focuses on the recognition part, while abandoning the spotting task; current public datasets for ME spotting are not challenging enough to support developing a robust spotting algorithm. The contributions of this paper are threefold: (1) we introduce an extension of the SMIC-E database, namely the SMIC-E-Long database, which is a new challenging benchmark for ME spotting; (2) we suggest a new evaluation protocol that standardizes the comparison of various ME spotting techniques; (3) extensive experiments with handcrafted and deep learning-based approaches on the SMIC-E-Long database are performed for baseline evaluation.