マイクロ表現は、さまざまな潜在的なアプリケーションのために、最近ますます関心を集めています。ただし、コンピューター ビジョン、機械学習、感情科学の分野からの多くの課題が組み込まれているため、このタスクは困難です。微表情の自発的で微妙な特性により、利用可能なトレーニングおよびテスト データが制限され、評価が複雑になります。データ漏洩と断片化された評価プロトコルが、マイクロ発現文献の中で問題であることを示します。データ リークを修正すると、モデルのパフォーマンスが大幅に低下することがわかりました。場合によっては、モデルのパフォーマンスがランダム分類器と同様になることさえあります。この目的のために、私たちはよくある落とし穴を調べ、2000 以上の微表情サンプルを含む顔のアクション ユニットを使用して新しい標準化された評価プロトコルを提案し、標準化された方法で評価プロトコルを実装するオープン ソース ライブラリを提供します。コードは https://github.com/tvaranka/meb で入手できます。
Micro-expressions have drawn increasing interest lately due to various potential applications. The task is, however, difficult as it incorporates many challenges from the fields of computer vision, machine learning and emotional sciences. Due to the spontaneous and subtle characteristics of micro-expressions, the available training and testing data are limited, which make evaluation complex. We show that data leakage and fragmented evaluation protocols are issues among the micro-expression literature. We find that fixing data leaks can drastically reduce model performance, in some cases even making the models perform similarly to a random classifier. To this end, we go through common pitfalls, propose a new standardized evaluation protocol using facial action units with over 2000 micro-expression samples, and provide an open source library that implements the evaluation protocols in a standardized manner. Code will be available in https://github.com/tvaranka/meb.