arXiv reaDer
3Dの顔の形は、継続的な感情とアクションユニットの強度を認識するのに十分な表現力がありますか?
Are 3D Face Shapes Expressive Enough for Recognising Continuous Emotions and Action Unit Intensities?
顔のビデオから継続的な感情とアクションユニット(AU)の強度を認識するには、表現のダイナミクスを空間的および時間的に理解する必要があります。既存の作品は、そのようなダイナミクスを抽出するために主に2Dの顔の外観に依存しています。この作業は、パラメトリック3D顔形状アライメントモデルに基づく有望な代替案に焦点を当てています。これは、表現によって誘発される形状変化を含む、さまざまな変化要因を解きほぐします。最先端の2D外観ベースのモデルと比較して、感情覚醒とAU強度を推定する際に、表現力豊かな3D顔の形がどのようになっているのかを理解することを目的としています。 ExpNet、3DDFA-V2、DECA、およびEMOCAの4つの最近の3D顔アライメントモデルのベンチマークを行います。感情覚醒推定では、3D顔モデルの表現機能は一貫して以前の作品を上回り、SEWAおよびAVEC2019CESコーパスでそれぞれ.739および.574の平均一致相関をもたらしました。また、BP4DおよびDISFAデータセットのAU強度推定で3D顔の形状がどのように実行されたかを調査し、3D顔の特徴がAU 4、6、10、12、および25の2D外観の特徴と同等であったが、 AU。この不一致を理解するために、私たちは、価数覚醒とAUの間のコレスポンデンス分析を行います。これは、価数覚醒の正確な予測には、少数のAUの知識しか必要としない可能性があることを指摘しています。
Recognising continuous emotions and action unit (AU) intensities from face videos requires a spatial and temporal understanding of expression dynamics. Existing works primarily rely on 2D face appearances to extract such dynamics. This work focuses on a promising alternative based on parametric 3D face shape alignment models, which disentangle different factors of variation, including expression-induced shape variations. We aim to understand how expressive 3D face shapes are in estimating valence-arousal and AU intensities compared to the state-of-the-art 2D appearance-based models. We benchmark four recent 3D face alignment models: ExpNet, 3DDFA-V2, DECA, and EMOCA. In valence-arousal estimation, expression features of 3D face models consistently surpassed previous works and yielded an average concordance correlation of .739 and .574 on SEWA and AVEC 2019 CES corpora, respectively. We also study how 3D face shapes performed on AU intensity estimation on BP4D and DISFA datasets, and report that 3D face features were on par with 2D appearance features in AUs 4, 6, 10, 12, and 25, but not the entire set of AUs. To understand this discrepancy, we conduct a correspondence analysis between valence-arousal and AUs, which points out that accurate prediction of valence-arousal may require the knowledge of only a few AUs.
updated: Sun Jul 03 2022 20:19:06 GMT+0000 (UTC)
published: Sun Jul 03 2022 20:19:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト