arXiv reaDer
顔動作単位検出のための時空間AUリレーショナルグラフ表現学習
Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection
このペーパーでは、第 5 回感情行動分析 in-the-wild Competition (ABAW) への顔動作単位 (AU) 検出の提出について紹介します。私たちのアプローチは 3 つの主要なモジュールで構成されます。(i) 入力シーケンス内の各入力顔画像から強力な顔表現を生成する事前トレーニング済みの顔表現エンコーダー。 (ii)各顔表現から一連の AU 特徴を具体的に学習する AU 固有の特徴ジェネレータ。 (iii)時空間グラフ表現を構築する時空間グラフ学習モジュール。このグラフ表現は、すべてのフレームに含まれる AU を記述し、対応する顔内のモデル化された空間情報とフレーム間の学習された時間ダイナミクスの両方に基づいて各 AU の発生を予測します。実験結果は、私たちのアプローチがベースラインを上回り、時空間グラフ表現の学習により、すべての切除システムの中で最良の結果を生成するモデルを可能にすることを示しています。当社のモデルは、第 5 回 ABAW コンペティションの AU 認定トラックで 4 位にランクされています。私たちのコードは https://github.com/wzh125/ABAW-5 で公開されています。
This paper presents our Facial Action Units (AUs) detection submission to the fifth Affective Behavior Analysis in-the-wild Competition (ABAW). Our approach consists of three main modules: (i) a pre-trained facial representation encoder which produce a strong facial representation from each input face image in the input sequence; (ii) an AU-specific feature generator that specifically learns a set of AU features from each facial representation; and (iii) a spatio-temporal graph learning module that constructs a spatio-temporal graph representation. This graph representation describes AUs contained in all frames and predicts the occurrence of each AU based on both the modeled spatial information within the corresponding face and the learned temporal dynamics among frames. The experimental results show that our approach outperformed the baseline and the spatio-temporal graph representation learning allows our model to generate the best results among all ablated systems. Our model ranks at the 4th place in the AU recognition track at the 5th ABAW Competition. Our code is publicly available at https://github.com/wzh125/ABAW-5.
updated: Mon Jun 05 2023 04:49:34 GMT+0000 (UTC)
published: Sun Mar 19 2023 12:28:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト