arXiv reaDer
Extended Local Binary Patterns for Efficient and Robust Spontaneous Facial Micro-Expression Recognition
  顔の微小表現(ME)は、人が感情を経験したが、意図的または無意識に自分の真の感情を隠そうとするときの、自発的な不随意の顔の動きです。最近、MEの認識は、臨床診断、ビジネスネゴシエーション、尋問、セキュリティなどの潜在的なアプリケーションのためにますます注目を集めています。ただし、大規模なMEデータセットを構築するには、主に自発的なMEを誘導することが難しいため、費用がかかります。これにより、大量のトレーニングデータを必要とする深層学習手法の適用が制限されます。本稿では、ME認識のための3つの直交平面上の拡張ローカルバイナリパターン(ELBPTOP)と呼ばれる、シンプルで効率的かつ堅牢な記述子を提案します。 ELBPTOPは、3つの相補的なバイナリ記述子で構成されます:LBPTOPと2つの新規な放射状差分LBPTOP(RDLBPTOP)および角度差分LBPTOP(ADLBPTOP)は、MEビデオシーケンスに含まれる放射状および角度方向に沿ったローカル2次情報を探索します。 ELBPTOPは、ユニークで微妙な顔の動きに触発された新しいME記述子です。計算効率が高く、LBPTOPの計算コストがわずかに増加するだけで、ME認識には非常に効果的です。さらに、まず、白色化主成分分析(WPCA)をME認識に導入することで、よりコンパクトで識別可能な特徴表現をさらに取得し、計算量を大幅に節約できます。 3つの一般的な自発的MEデータセットSMIC、CASME II、およびSAMMの広範な実験評価により、提案されたELBPTOPアプローチは、3つの単一の評価されたすべてのデータセットで以前の最新技術よりも大幅に優れており、クロスデータベース認識で有望な結果を達成していることが示されています。利用可能になります。
Facial Micro-Expressions (MEs) are spontaneous, involuntary facial movements when a person experiences an emotion but deliberately or unconsciously attempts to conceal his or her genuine emotions. Recently, ME recognition has attracted increasing attention due to its potential applications such as clinical diagnosis, business negotiation, interrogations, and security. However, it is expensive to build large scale ME datasets, mainly due to the difficulty of inducing spontaneous MEs. This limits the application of deep learning techniques which require lots of training data. In this paper, we propose a simple, efficient yet robust descriptor called Extended Local Binary Patterns on Three Orthogonal Planes (ELBPTOP) for ME recognition. ELBPTOP consists of three complementary binary descriptors: LBPTOP and two novel ones Radial Difference LBPTOP (RDLBPTOP) and Angular Difference LBPTOP (ADLBPTOP), which explore the local second order information along the radial and angular directions contained in ME video sequences. ELBPTOP is a novel ME descriptor inspired by unique and subtle facial movements. It is computationally efficient and only marginally increases the cost of computing LBPTOP, yet is extremely effective for ME recognition. In addition, by firstly introducing Whitened Principal Component Analysis (WPCA) to ME recognition, we can further obtain more compact and discriminative feature representations, then achieve significantly computational savings. Extensive experimental evaluation on three popular spontaneous ME datasets SMIC, CASME II and SAMM show that our proposed ELBPTOP approach significantly outperforms the previous state-of-the-art on all three single evaluated datasets and achieves promising results on cross-database recognition.Our code will be made available.
updated: Tue Sep 17 2019 12:34:48 GMT+0000 (UTC)
published: Mon Jul 22 2019 07:15:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト