arXiv reaDer
トレーニング可能なマイクロエクスプレッション(および大規模な合成データセット)を構成するアクションユニット
Action Units That Constitute Trainable Micro-expressions (and A Large-scale Synthetic Dataset)
費用のかかるデータ収集プロセスのため、マイクロエクスプレッション(MiE)データセットは一般に、他のコンピュータービジョン分野のデータセットよりも規模がはるかに小さく、大規模なトレーニングは実行不可能になります。このホワイトペーパーでは、1)大規模なMiEトレーニングデータを自動的に合成し、2)実際のテストデータの正確な認識モデルをトレーニングできるようにするプロトコルを開発します。具体的には、訓練可能なMiEを構成できる3種類のアクションユニット(AU)を発見します。これらのAUは、実際のMiE、マクロ表現ビデオの初期フレーム、およびAUと人間の専門知識によって定義された表現カテゴリとの関係に由来します。これらのAUを使用して、私たちのプロトコルは、さまざまなIDの多数の顔画像と、MiE合成用の既製の顔ジェネレーターを使用して、MiE-Xデータセットを生成します。 MiE認識モデルは、MiE-Xでトレーニングまたは事前トレーニングされ、競争力のある精度が得られる実際のテストセットで評価されます。実験結果は、これらのAUとMiE-Xデータセットの有効性を検証するだけでなく、MiEのいくつかの重要な特性を明らかにします。これらは面全体に一般化され、初期段階のマクロ式に近く、手動で定義できます。
Because of the expensive data collection process, micro-expression (MiE) datasets are generally much smaller in scale than those in other computer vision fields, rendering large-scale training less feasible. This paper develops a protocol to automatically synthesize MiE training data that 1) are of a large scale and 2) allow us to train accurate recognition models for real-world test data. Specifically, we discover three types of Action Units (AUs) that can constitute trainable MiEs. These AUs come from real-world MiEs, early frames of macro-expression videos, and the relationship between AUs and expression categories defined by human expert knowledge. With these AUs, our protocol then employs large numbers of face images of various identities and an off-the-shelf face generator for MiE synthesis, yielding the MiE-X dataset. MiE recognition models are trained or pre-trained on MiE-X and evaluated on real-world test sets, where competitive accuracy is obtained. Experimental results not only validate the effectiveness of these AUs and our MiE-X dataset but also reveal some critical properties of MiEs: they generalize across faces, are close to early-stage macro-expressions, and can be manually defined.
updated: Mon Jan 17 2022 07:06:07 GMT+0000 (UTC)
published: Fri Dec 03 2021 06:09:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト