arXiv reaDer
顔動作単位検出のための時空間 AU リレーショナル グラフ表現学習
Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection
このホワイト ペーパーでは、第 5 回 Affective Behavior Analysis in-the-wild コンペティション (ABAW) に提出された顔のアクション ユニット (AU) 認識を紹介します。私たちのアプローチは、3 つの主要なモジュールで構成されます。(i) 入力シーケンス内の各入力顔画像から強力な顔表現を生成する事前トレーニング済みの顔表現エンコーダ(ii) 各顔の表現から一連の AU 特徴を具体的に学習する AU 固有の特徴ジェネレーター。 (iii)時空間グラフ表現を構築する時空間グラフ学習モジュール。このグラフ表現は、すべてのフレームに含まれる AU を記述し、対応する顔内のモデル化された空間情報とフレーム間の学習された時間ダイナミクスの両方に基づいて、各 AU の発生を予測します。実験結果は、私たちのアプローチがベースラインを上回り、時空間グラフ表現の学習により、モデルがすべてのアブレーションされたシステムの中で最高の結果を生成できることを示しています。当社のモデルは、第5回ABAWコンペティションのAU認識トラックで4位にランクされています.
This paper presents our Facial Action Units (AUs) recognition submission to the fifth Affective Behavior Analysis in-the-wild Competition (ABAW). Our approach consists of three main modules: (i) a pre-trained facial representation encoder which produce a strong facial representation from each input face image in the input sequence; (ii) an AU-specific feature generator that specifically learns a set of AU features from each facial representation; and (iii) a spatio-temporal graph learning module that constructs a spatio-temporal graph representation. This graph representation describes AUs contained in all frames and predicts the occurrence of each AU based on both the modeled spatial information within the corresponding face and the learned temporal dynamics among frames. The experimental results show that our approach outperformed the baseline and the spatio-temporal graph representation learning allows our model to generate the best results among all ablated systems. Our model ranks at the 4th place in the AU recognition track at the 5th ABAW Competition.
updated: Mon Mar 27 2023 12:52:59 GMT+0000 (UTC)
published: Sun Mar 19 2023 12:28:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト