arXiv reaDer
感情行動分析に関する第 5 回大会向けの大規模な事前トレーニング済みモデルを使用したマルチモーダル顔アクション ユニット検出
Multi-modal Facial Action Unit Detection with Large Pre-trained Models for the 5th Competition on Affective Behavior Analysis in-the-wild
顔アクション ユニットの検出は、唇の引き締めや頬の上げ上げなど、特定の事前定義された客観的な表情を検出することを目的とした表情分析の重要なタスクとして浮上しています。このホワイト ペーパーでは、AU 検出のための感情行動分析 (ABAW) 2023 コンペティションへの提出物を紹介します。大規模な事前トレーニング済みモデルから抽出された視覚的、聴覚的、および語彙的特徴を使用して、顔のアクションユニットを検出するためのマルチモーダル方法を提案します。視覚的特徴抽出に高品質の詳細を提供するために、超解像と顔の位置合わせをトレーニング データに適用し、潜在的なパフォーマンスの向上を示します。私たちのアプローチは、第 5 回 ABAW チャレンジの公式検証セットで 52.3% の F1 スコアを達成しました。
Facial action unit detection has emerged as an important task within facial expression analysis, aimed at detecting specific pre-defined, objective facial expressions, such as lip tightening and cheek raising. This paper presents our submission to the Affective Behavior Analysis in-the-wild (ABAW) 2023 Competition for AU detection. We propose a multi-modal method for facial action unit detection with visual, acoustic, and lexical features extracted from the large pre-trained models. To provide high-quality details for visual feature extraction, we apply super-resolution and face alignment to the training data and show potential performance gain. Our approach achieves the F1 score of 52.3% on the official validation set of the 5th ABAW Challenge.
updated: Thu Mar 23 2023 00:35:40 GMT+0000 (UTC)
published: Sun Mar 19 2023 07:18:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト