arXiv reaDer
Causal Intervention for Subject-Deconfounded Facial Action Unit Recognition
データ分布が被験者間で異なるため、被験者不変の顔のアクションユニット(AU)の認識は依然として困難です。本論文では、被験者不変の顔のアクションユニット認識のための因果推論フレームワークを提案します。 AU認識タスクに存在する因果効果を説明するために、顔の画像、被験者、潜在的なAUの意味関係、および構造的な因果モデルを介して推定されたAUの発生確率の間の因果関係を定式化します。このような因果関係図を作成することにより、変数間の因果関係を明らかにし、因果関係図の交絡因子サブジェクトを解き明かすためのプラグイン因果介入モジュールCISを提案します。一般的に使用される2つのAUベンチマークデータセットであるBP4DとDISFAで実施された広範な実験は、CISの有効性を示しており、CISが挿入されたモデルであるCISNetは最先端のパフォーマンスを達成しています。
Subject-invariant facial action unit (AU) recognition remains challenging for the reason that the data distribution varies among subjects. In this paper, we propose a causal inference framework for subject-invariant facial action unit recognition. To illustrate the causal effect existing in AU recognition task, we formulate the causalities among facial images, subjects, latent AU semantic relations, and estimated AU occurrence probabilities via a structural causal model. By constructing such a causal diagram, we clarify the causal effect among variables and propose a plug-in causal intervention module, CIS, to deconfound the confounder Subject in the causal diagram. Extensive experiments conducted on two commonly used AU benchmark datasets, BP4D and DISFA, show the effectiveness of our CIS, and the model with CIS inserted, CISNet, has achieved state-of-the-art performance.
updated: Wed Apr 03 2024 02:27:59 GMT+0000 (UTC)
published: Sun Apr 17 2022 05:42:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト