一貫性のない注釈やさまざまな画像収集条件を含むドメインの多様性は、異なる顔の表情認識(FER)データセット間に必然的に存在し、あるデータセットでトレーニングされたFERモデルを別のデータセットに適応させるための明らかな課題をもたらします。最近の作品は、大きな進歩を遂げた兄弟の顔のアクションユニット(AU)の検出タスクを無視して、主に敵対的な学習メカニズムを使用したドメイン不変の深部特徴学習に焦点を当てています。 AUが顔の表情を客観的に決定することを考慮して、このペーパーでは、異なるFERデータセット間の注釈バイアスを緩和するためのAUガイド付き教師なしドメイン適応FER(AdaFER)フレームワークを提案します。 AdaFERでは、最初に、ソースドメインとターゲットドメインの両方でAUを検出するための高度なモデルを活用します。次に、AUの結果を比較して、AUに基づく注釈を実行します。つまり、ソース面と同じAUを所有するターゲット面は、ソースドメインからラベルを継承します。一方、ドメイン不変のコンパクトな機能を実現するために、AUを使用して両方のドメインでアンカーポジティブネガティブトリプレットをランダムに収集するAUガイドトリプレットトレーニングを利用します。私たちはいくつかの人気のあるベンチマークで広範な実験を行い、AdaFERがこれらすべてのベンチマークで最先端の結果を達成していることを示しています。
The domain diversities including inconsistent annotation and varied image collection conditions inevitably exist among different facial expression recognition (FER) datasets, which pose an evident challenge for adapting the FER model trained on one dataset to another one. Recent works mainly focus on domain-invariant deep feature learning with adversarial learning mechanism, ignoring the sibling facial action unit (AU) detection task which has obtained great progress. Considering AUs objectively determine facial expressions, this paper proposes an AU-guided unsupervised Domain Adaptive FER (AdaFER) framework to relieve the annotation bias between different FER datasets. In AdaFER, we first leverage an advanced model for AU detection on both source and target domain. Then, we compare the AU results to perform AU-guided annotating, i.e., target faces that own the same AUs with source faces would inherit the labels from source domain. Meanwhile, to achieve domain-invariant compact features, we utilize an AU-guided triplet training which randomly collects anchor-positive-negative triplets on both domains with AUs. We conduct extensive experiments on several popular benchmarks and show that AdaFER achieves state-of-the-art results on all these benchmarks.