arXiv reaDer
Relation Modeling with Graph Convolutional Networks for Facial Action Unit Detection
  AUの関係を考慮した既存のAU検出のほとんどは、手動で抽出された機能を備えた確率的グラフィカルモデルに依存しています。この論文は、AU関係モデリングのためのグラフ畳み込みネットワーク(GCN)を用いた顔AU検出のためのエンドツーエンドの深層学習フレームワークを提案します。特に、AU関連の領域が最初に抽出され、AU情報で満たされた潜在的な表現が自動エンコーダーによって学習されます。さらに、各潜在表現ベクトルはノードとしてGCNに供給され、GCNの接続モードはAUの関係に基づいて決定されます。最後に、GCNを通じて更新されたアセンブルされた機能は、AU検出のために連結されます。 BP4DおよびDISFAベンチマークに関する広範な実験により、私たちのフレームワークは、顔のAU検出の最先端の方法よりも大幅に優れていることが実証されています。提案されたフレームワークは、一連のアブレーション研究を通じても検証されています。
Most existing AU detection works considering AU relationships are relying on probabilistic graphical models with manually extracted features. This paper proposes an end-to-end deep learning framework for facial AU detection with graph convolutional network (GCN) for AU relation modeling, which has not been explored before. In particular, AU related regions are extracted firstly, latent representations full of AU information are learned through an auto-encoder. Moreover, each latent representation vector is feed into GCN as a node, the connection mode of GCN is determined based on the relationships of AUs. Finally, the assembled features updated through GCN are concatenated for AU detection. Extensive experiments on BP4D and DISFA benchmarks demonstrate that our framework significantly outperforms the state-of-the-art methods for facial AU detection. The proposed framework is also validated through a series of ablation studies.
updated: Wed Oct 23 2019 03:57:52 GMT+0000 (UTC)
published: Wed Oct 23 2019 03:57:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト