arXiv reaDer
動的3D自発的マイクロエクスプレッションデータベース:確立と評価
A Dynamic 3D Spontaneous Micro-expression Database: Establishment and Evaluation
マイクロエクスプレッションは、人々の本当の内面の感情を示し、心理テストの関連分野で大きな可能性を秘めている、自発的で無意識の顔の動きです。顔は3D変形オブジェクトであるため、表情の発生は顔の空間変形を引き起こす可能性がありますが、利用可能なデータベースによって制限されるのは2Dビデオであり、マイクロエクスプレッションの3D空間情報の説明が不足しています。したがって、2Dビデオシーケンスと3Dポイントクラウドシーケンスを含む新しいマイクロエクスプレッションデータベースを提案しました。データベースには373のマイクロエクスプレッションシーケンスが含まれており、これらのサンプルは、顔のアクションコーディングシステムに基づく客観的な方法と、ビデオコンテンツと参加者の自己報告を組み合わせた非客観的な方法を使用して分類されました。 3つの直交平面上のローカルバイナリパターン(LBP-TOP)と曲率アルゴリズムをそれぞれ使用して2Dと3Dの特徴を抽出し、これら2つの特徴の分類精度とLeave-one-subject-out(LOSO)による融合結果を評価しました。および10倍の相互検証。さらに、データベース分類のためにさまざまなニューラルネットワークアルゴリズムを実行しました。その結果、2D機能のみを使用するよりも3D機能を融合することで分類精度が向上することがわかりました。データベースは、オリジナルおよびトリミングされたマイクロエクスプレッションサンプルを提供します。これにより、マイクロエクスプレッションの3D時空間機能の調査と研究が容易になります。
Micro-expressions are spontaneous, unconscious facial movements that show people's true inner emotions and have great potential in related fields of psychological testing. Since the face is a 3D deformation object, the occurrence of an expression can arouse spatial deformation of the face, but limited by the available databases are 2D videos, lacking the description of 3D spatial information of micro-expressions. Therefore, we proposed a new micro-expression database containing 2D video sequences and 3D point clouds sequences. The database includes 373 micro-expressions sequences, and these samples were classified using the objective method based on facial action coding system, as well as the non-objective method that combines video contents and participants' self-reports. We extracted 2D and 3D features using the local binary patterns on three orthogonal planes (LBP-TOP) and curvature algorithms, respectively, and evaluated the classification accuracies of these two features and their fusion results with leave-one-subject-out (LOSO) and 10-fold cross-validation. Further, we performed various neural network algorithms for database classification, the results show that classification accuracies are improved by fusing 3D features than using only 2D features. The database offers original and cropped micro-expression samples, which will facilitate the exploration and research on 3D Spatio-temporal features of micro-expressions.
updated: Wed Feb 23 2022 14:19:49 GMT+0000 (UTC)
published: Sat Jul 31 2021 07:04:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト