視覚的感情認識は大きく進歩しましたが、研究者は、現代のディープネットワークがデータセットの特性を利用して、入力とターゲットの間の偽の統計的関連を学習する傾向があることを認識しています。このようなデータセットの特性は通常、データセットバイアスとして扱われ、これらの認識システムの堅牢性と一般化パフォーマンスを損ないます。この作業では、因果推論の観点からこの問題を精査します。このようなデータセットの特性は、システムが疑似相関を学習するように誤解させる交絡因子と呼ばれます。データセットのバイアスによってもたらされる悪影響を軽減するために、因果推論における基本的な混乱を解消する手法の1つである、バックドア調整を実現するための新しい介入感情認識ネットワーク(IERN)を提案します。具体的には、IERNは、データセット関連のコンテキスト機能を実際の感情機能から解きほぐすことから始めます。前者は交絡因子を形成します。感情機能は、分類子に入力される前に、各交絡因子層を均等に表示するように強制されます。一連の設計されたテストはIERNの有効性を検証し、3つの感情ベンチマークでの実験は、IERNが偏りのない視覚的感情認識のための最先端のアプローチよりも優れていることを示しています。コードはhttps://github.com/donydchen/causal_emotionで入手できます
Although much progress has been made in visual emotion recognition, researchers have realized that modern deep networks tend to exploit dataset characteristics to learn spurious statistical associations between the input and the target. Such dataset characteristics are usually treated as dataset bias, which damages the robustness and generalization performance of these recognition systems. In this work, we scrutinize this problem from the perspective of causal inference, where such dataset characteristic is termed as a confounder which misleads the system to learn the spurious correlation. To alleviate the negative effects brought by the dataset bias, we propose a novel Interventional Emotion Recognition Network (IERN) to achieve the backdoor adjustment, which is one fundamental deconfounding technique in causal inference. Specifically, IERN starts by disentangling the dataset-related context feature from the actual emotion feature, where the former forms the confounder. The emotion feature will then be forced to see each confounder stratum equally before being fed into the classifier. A series of designed tests validate the efficacy of IERN, and experiments on three emotion benchmarks demonstrate that IERN outperforms state-of-the-art approaches for unbiased visual emotion recognition. Code is available at https://github.com/donydchen/causal_emotion