arXiv reaDer
属性情報の埋め込みとクロスモーダル対照学習に基づくマイクロエクスプレッション認識
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
最近、顔のマイクロエクスプレッションの認識が注目されています。マイクロエクスプレッションは、持続時間が短く、強度が低いという特徴があり、既存のマイクロエクスプレッションの数が限られている高性能分類器をトレーニングすることは困難です。したがって、マイクロエクスプレッションを認識することは困難な作業です。本論文では、属性情報埋め込みとクロスモーダル対照学習に基づくマイクロエクスプレッション認識法を提案した。 3D CNNを使用してマイクロエクスプレッションシーケンスのRGB機能とFLOW機能を抽出して融合し、BERTネットワークを使用してフェイシャルアクションコーディングシステムのテキスト情報を抽出します。クロスモーダルコントラストロスを通じて、視覚ネットワークに属性情報を埋め込み、サンプルが限られている場合のマイクロエクスプレッション認識の表現能力を向上させます。 CASME IIデータベースとMMEWデータベースで広範な実験を行っており、精度はそれぞれ77.82%と71.04%です。比較実験は、この方法がマイクロエクスプレッション認識のための他の方法よりも優れた認識効果を有することを示している。
Facial micro-expressions recognition has attracted much attention recently. Micro-expressions have the characteristics of short duration and low intensity, and it is difficult to train a high-performance classifier with the limited number of existing micro-expressions. Therefore, recognizing micro-expressions is a challenge task. In this paper, we propose a micro-expression recognition method based on attribute information embedding and cross-modal contrastive learning. We use 3D CNN to extract RGB features and FLOW features of micro-expression sequences and fuse them, and use BERT network to extract text information in Facial Action Coding System. Through cross-modal contrastive loss, we embed attribute information in the visual network, thereby improving the representation ability of micro-expression recognition in the case of limited samples. We conduct extensive experiments in CASME II and MMEW databases, and the accuracy is 77.82% and 71.04%, respectively. The comparative experiments show that this method has better recognition effect than other methods for micro-expression recognition.
updated: Sun May 29 2022 12:28:10 GMT+0000 (UTC)
published: Sun May 29 2022 12:28:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト