arXiv reaDer
動的3D自発的微量発現データベース:確立と評価
A Dynamic 3D Spontaneous Micro-expression Database: Establishment and Evaluation
微妙な表情は、人々の本当の内面の感情を示し、心理テストの関連分野で大きな可能性を秘めている、自発的で無意識の顔の動きです。顔は3D変形オブジェクトであるため、表情の発生は顔の空間変形を引き起こす可能性がありますが、利用可能なデータベースによって制限されるのは、微細表現の3D空間情報の説明が不足している2Dビデオです。したがって、2Dビデオシーケンスと3Dポイントクラウドシーケンスを含む新しいマイクロエクスプレッションデータベースを提案しました。データベースには259の微妙な表情のシーケンスが含まれており、これらのサンプルは、顔のアクションコーディングシステムに基づく客観的な方法と、ビデオコンテンツと参加者の自己報告を組み合わせた非客観的な方法を使用して分類されました。 3つの直交平面と曲率記述子でそれぞれローカルバイナリパターンを使用して顔の2Dと3Dの特徴を抽出し、2つの特徴のベースライン評価とLeave-one-subject-out(LOSO)と10倍のクロスを使用したそれらの融合結果を実行しました。検証方法。最高の融合性能は、非客観的分類で58.84%と73.03%、客観的分類で66.36%と77.42%であり、どちらもLBP-TOP機能のみを使用した場合と比較してパフォーマンスが向上しています。データベースは元のマイクロエクスプレッションサンプルとトリミングされたマイクロエクスプレッションサンプルを提供します。 、これにより、マイクロエクスプレッションの3D時空間機能の調査と研究が容易になります。
Micro-expressions are spontaneous, unconscious facial movements that show people's true inner emotions and have great potential in related fields of psychological testing. Since the face is a 3D deformation object, the occurrence of an expression can arouse spatial deformation of the face, but limited by the available databases are 2D videos, which lack the description of 3D spatial information of micro-expressions. Therefore, we proposed a new micro-expression database containing 2D video sequences and 3D point clouds sequences. The database includes 259 micro-expressions sequences, and these samples were classified using the objective method based on facial action coding system, as well as the non-objective method that combines video contents and participants' self-reports. We extracted facial 2D and 3D features using local binary patterns on three orthogonal planes and curvature descriptors, respectively, and performed baseline evaluations of the two features and their fusion results with leave-one-subject-out(LOSO) and 10-fold cross-validation methods. The best fusion performances were 58.84% and 73.03% for non-objective classification and 66.36% and 77.42% for objective classification, both of which have improved performance compared to using LBP-TOP features only.The database offers original and cropped micro-expression samples, which will facilitate the exploration and research on 3D Spatio-temporal features of micro-expressions.
updated: Sat Jul 31 2021 07:04:16 GMT+0000 (UTC)
published: Sat Jul 31 2021 07:04:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト