自発的であるため、微妙な表現は、たとえそれを隠そうとしても、人の本当の感情を推測するのに役立ちます。持続時間が短く強度が低いため、感情コンピューティングでは微妙な表現の認識は困難な作業です。いくつかの見込みを示した手作りの時空間機能に基づく初期の作品は、最近、最先端のパフォーマンスを競うさまざまなディープラーニングアプローチに取って代わられました。それにもかかわらず、ローカルとグローバルの両方の時空間パターンをキャプチャする問題は依然として困難です。この目的のために、ここでは、新しい時空間トランスフォーマーアーキテクチャを提案します。私たちの知る限りでは、マイクロエクスプレッション認識のための最初の純粋なトランスベースのアプローチ(つまり、畳み込みネットワークの使用がない)です。このアーキテクチャは、空間パターンを学習する空間エンコーダ、時間次元分析用の時間アグリゲータ、および分類ヘッドで構成されています。 3つの広く使用されている自発的微小発現データセット、すなわちSMIC-HS、CASME II、SAMMの包括的な評価は、提案されたアプローチが常に最先端を上回り、微小発現に関する公開された文献の最初のフレームワークであることを示しています前述のデータセットのいずれかで0.9を超える重み付けされていないF1スコアを達成するための認識。
Being spontaneous, micro-expressions are useful in the inference of a person's true emotions even if an attempt is made to conceal them. Due to their short duration and low intensity, the recognition of micro-expressions is a difficult task in affective computing. The early work based on handcrafted spatio-temporal features which showed some promise, has recently been superseded by different deep learning approaches which now compete for the state of the art performance. Nevertheless, the problem of capturing both local and global spatio-temporal patterns remains challenging. To this end, herein we propose a novel spatio-temporal transformer architecture -- to the best of our knowledge, the first purely transformer based approach (i.e. void of any convolutional network use) for micro-expression recognition. The architecture comprises a spatial encoder which learns spatial patterns, a temporal aggregator for temporal dimension analysis, and a classification head. A comprehensive evaluation on three widely used spontaneous micro-expression data sets, namely SMIC-HS, CASME II and SAMM, shows that the proposed approach consistently outperforms the state of the art, and is the first framework in the published literature on micro-expression recognition to achieve the unweighted F1-score greater than 0.9 on any of the aforementioned data sets.