arXiv reaDer
顔動作単位検出のための特徴融合と組み合わせた局所領域知覚と関係学習
Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection
人間の感情行動分析は、ヒューマン コンピュータ インタラクション (HCI) システムで重要な役割を果たします。このホワイト ペーパーでは、CVPR 2023 コンペティション on Affective Behavior Analysis in-the-wild (ABAW) への提出物を紹介します。単一段階の訓練された AU 検出フレームワークを提案します。具体的には、AU 検出に関連する顔の局所領域特徴を効果的に抽出するために、局所領域認識モジュールを使用して、さまざまな AU の特徴を効果的に抽出します。一方、グラフ ニューラル ネットワーク ベースのリレーショナル学習モジュールを使用して、AU 間の関係をキャプチャします。また、対象顔全体の特徴が AU 検出に果たす役割を考慮し、バックボーンネットワークで抽出した特徴情報と関係学習モジュールで抽出した AU 特徴情報を特徴融合モジュールで融合します。また、モデルのパフォーマンスをさらに向上させるために、いくつかのサンプリング方法、データ拡張技術、および後処理戦略を採用しました。
Human affective behavior analysis plays a vital role in human-computer interaction (HCI) systems. In this paper, we introduce our submission to the CVPR 2023 Competition on Affective Behavior Analysis in-the-wild (ABAW). We propose a single-stage trained AU detection framework. Specifically, in order to effectively extract facial local region features related to AU detection, we use a local region perception module to effectively extract features of different AUs. Meanwhile, we use a graph neural network-based relational learning module to capture the relationship between AUs. In addition, considering the role of the overall feature of the target face on AU detection, we also use the feature fusion module to fuse the feature information extracted by the backbone network and the AU feature information extracted by the relationship learning module. We also adopted some sampling methods, data augmentation techniques and post-processing strategies to further improve the performance of the model.
updated: Wed Mar 15 2023 11:59:24 GMT+0000 (UTC)
published: Wed Mar 15 2023 11:59:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト