費用のかかるデータ収集プロセスのため、マイクロエクスプレッションデータセットは一般に他のコンピュータービジョン分野のデータセットよりも規模がはるかに小さく、大規模なトレーニングの安定性と実行可能性が低くなります。この論文では、1)大規模であり、2)実世界のテストセットで高精度の認識モデルをトレーニングできるようにするマイクロエクスプレッショントレーニングデータを自動的に合成するプロトコルの開発を目指しています。具体的には、トレーニング可能なマイクロエクスプレッションを適切に構成できる3種類のアクションユニット(AU)を発見します。これらのAUは、実際のマイクロ式、マクロ式の初期フレーム、およびAUと人間の知識によって定義された式ラベルとの関係に由来します。これらのAUを使用して、私たちのプロトコルは、さまざまなIDを持つ多数の顔画像と、マイクロエクスプレッション合成のための既存の顔生成方法を採用しています。微小発現認識モデルは、生成された微小発現データセットでトレーニングされ、非常に競争力のある安定したパフォーマンスが得られる実際のテストセットで評価されます。実験結果は、これらのAUとデータセット合成プロトコルの有効性を検証するだけでなく、マイクロ式のいくつかの重要な特性を明らかにします。これらは、面全体に一般化され、初期段階のマクロ式に近く、手動で定義できます。
Due to the expensive data collection process, micro-expression datasets are generally much smaller in scale than those in other computer vision fields, rendering large-scale training less stable and feasible. In this paper, we aim to develop a protocol to automatically synthesize micro-expression training data that 1) are on a large scale and 2) allow us to train recognition models with strong accuracy on real-world test sets. Specifically, we discover three types of Action Units (AUs) that can well constitute trainable micro-expressions. These AUs come from real-world micro-expressions, early frames of macro-expressions, and the relationship between AUs and expression labels defined by human knowledge. With these AUs, our protocol then employs large numbers of face images with various identities and an existing face generation method for micro-expression synthesis. Micro-expression recognition models are trained on the generated micro-expression datasets and evaluated on real-world test sets, where very competitive and stable performance is obtained. The experimental results not only validate the effectiveness of these AUs and our dataset synthesis protocol but also reveal some critical properties of micro-expressions: they generalize across faces, are close to early-stage macro-expressions, and can be manually defined.