arXiv reaDer
大規模でトレーニング可能なマイクロ式データセットを合成するには?
How to Synthesize a Large-Scale and Trainable Micro-Expression Dataset?
この論文には技術的な目新しさは含まれていませんが、データ生成プロトコル、データベース、および洞察における重要な発見を紹介しています。私たちは、データ収集の法外なコストが原因で、大規模なトレーニングが実現しにくくなるため、マイクロ表現 (MiE) 認識における大規模なデータセットの欠如に対処することを目指しています。この目的のために、大規模な MiE トレーニング データを自動的に合成するプロトコルを開発し、現実世界のテスト データの改善された認識モデルをトレーニングできるようにします。具体的には、トレーニング可能な MiE を構成できる 3 種類のアクション ユニット (AU) を発見しました。これらの AU は、現実世界の MiE、マクロ表現ビデオの初期フレーム、および AU と人間の専門知識によって定義された表現カテゴリとの関係に由来します。これらの AU を使用して、プロトコルは、さまざまなアイデンティティの多数の顔画像と、MiE 合成用の既製の顔ジェネレーターを使用して、MiE-X データセットを生成します。 MiE 認識モデルは、MiE-X でトレーニングまたは事前トレーニングされ、実際のテスト セットで評価され、非常に競争力のある精度が得られます。実験結果は、発見された AU と MiE-X データセットの有効性を検証するだけでなく、MiE のいくつかの興味深い特性も明らかにします。MiE は顔全体に一般化され、初期段階のマクロ表現に近く、手動で定義できます。
This paper does not contain technical novelty but introduces our key discoveries in a data generation protocol, a database and insights. We aim to address the lack of large-scale datasets in micro-expression (MiE) recognition due to the prohibitive cost of data collection, which renders large-scale training less feasible. To this end, we develop a protocol to automatically synthesize large scale MiE training data that allow us to train improved recognition models for real-world test data. Specifically, we discover three types of Action Units (AUs) that can constitute trainable MiEs. These AUs come from real-world MiEs, early frames of macro-expression videos, and the relationship between AUs and expression categories defined by human expert knowledge. With these AUs, our protocol then employs large numbers of face images of various identities and an off-the-shelf face generator for MiE synthesis, yielding the MiE-X dataset. MiE recognition models are trained or pre-trained on MiE-X and evaluated on real-world test sets, where very competitive accuracy is obtained. Experimental results not only validate the effectiveness of the discovered AUs and MiE-X dataset but also reveal some interesting properties of MiEs: they generalize across faces, are close to early-stage macro-expressions, and can be manually defined.
updated: Tue Sep 20 2022 04:42:31 GMT+0000 (UTC)
published: Fri Dec 03 2021 06:09:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト