arXiv reaDer
Micro-expression Action Unit Detection with Spatio-temporal Adaptive Pooling
 アクションユニット(AU)の検出は、顔の表情の認識に重要な役割を果たします。私たちの知る限り、マイクロエクスプレッションのAU分析に関する研究はほとんどありません。このペーパーでは、マイクロ式でのAU検出に焦点を当てます。マイクロエクスプレッションAU検出は、マイクロエクスプレッションデータベースの量が少ないこと、強度が低いこと、顔面筋の変化の持続時間が短いこと、クラスの不均衡のために困難です。問題を緩和するために、我々は、微小表現におけるAU検出のための新しい時空間適応プーリング(STAP)ネットワークを提案します。まず、STAPは、さまざまなサイズの一連の畳み込みフィルターによって集約されます。このようにして、STAPは空間的および時間的ドメインに関するマルチスケール情報を取得できます。一方、STAPには含まれるパラメーターが少ないため、計算コストが少なく、非常に小さなデータベースでのマイクロ式AU検出に適しています。さらに、STAPモジュールは、空間的および時間的ドメインのマイクロ式AUの識別情報をプールするように設計されています。最後に、フォーカルロスを使用して、膨大な数のネガティブがマイクロ式AU検出器を圧倒しないようにします。実験では、最初に、一般的に使用されている3つのデータベースのAUアノテーションを磨きます。 3つのマイクロ式データベースで集中的な実験を行い、マイクロ式AU検出に関するいくつかのベースライン結果を提供します。結果は、提案されたアプローチが、F1スコアの平均の点で、基本的なInflated inception-v1(I3D)よりも優れていることを示しています。また、クロスデータベースプロトコルでの提案手法のパフォーマンスも評価します。それは私たちの提案されたアプローチがクロスデータベースマイクロ式AU検出のために実行可能であることを示しています。重要なことに、3つのマイクロ式データベースとクロスデータベースプロトコルの結果は、マイクロ式AU検出に関する将来の研究のための広範なベースライン結果を提供します。
Action Unit (AU) detection plays an important role for facial expression recognition. To the best of our knowledge, there is little research about AU analysis for micro-expressions. In this paper, we focus on AU detection in micro-expressions. Microexpression AU detection is challenging due to the small quantity of micro-expression databases, low intensity, short duration of facial muscle change, and class imbalance. In order to alleviate the problems, we propose a novel Spatio-Temporal Adaptive Pooling (STAP) network for AU detection in micro-expressions. Firstly, STAP is aggregated by a series of convolutional filters of different sizes. In this way, STAP can obtain multi-scale information on spatial and temporal domains. On the other hand, STAP contains less parameters, thus it has less computational cost and is suitable for micro-expression AU detection on very small databases. Furthermore, STAP module is designed to pool discriminative information for micro-expression AUs on spatial and temporal domains.Finally, Focal loss is employed to prevent the vast number of negatives from overwhelming the microexpression AU detector. In experiments, we firstly polish the AU annotations on three commonly used databases. We conduct intensive experiments on three micro-expression databases, and provide several baseline results on micro-expression AU detection. The results show that our proposed approach outperforms the basic Inflated inception-v1 (I3D) in terms of an average of F1- score. We also evaluate the performance of our proposed method on cross-database protocol. It demonstrates that our proposed approach is feasible for cross-database micro-expression AU detection. Importantly, the results on three micro-expression databases and cross-database protocol provide extensive baseline results for future research on micro-expression AU detection.
updated: Fri Apr 10 2020 06:13:38 GMT+0000 (UTC)
published: Thu Jul 11 2019 07:00:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト