視覚的感情認識は大きく進歩しましたが、研究者は、現代のディープネットワークがデータセットの特性を利用して、入力とターゲットの間の疑似統計的関連を学習する傾向があることを認識しています。このようなデータセットの特性は通常、データセットバイアスとして扱われ、これらの認識システムの堅牢性と一般化パフォーマンスを損ないます。この作業では、因果推論の観点からこの問題を精査します。このようなデータセットの特性は、システムが疑似相関を学習するように誤解させる交絡因子と呼ばれます。データセットのバイアスによってもたらされる悪影響を軽減するために、因果推論における基本的な混乱を解消する手法の1つである、バックドア調整を実現するための新しい介入感情認識ネットワーク(IERN)を提案します。一連の設計されたテストはIERNの有効性を検証し、3つの感情ベンチマークでの実験は、IERNが他の最先端のアプローチよりも優れていることを示しています。
Although much progress has been made in visual emotion recognition, researchers have realized that modern deep networks tend to exploit dataset characteristics to learn spurious statistical associations between the input and the target. Such dataset characteristics are usually treated as dataset bias, which damages the robustness and generalization performance of these recognition systems. In this work, we scrutinize this problem from the perspective of causal inference, where such dataset characteristic is termed as a confounder which misleads the system to learn the spurious correlation. To alleviate the negative effects brought by the dataset bias, we propose a novel Interventional Emotion Recognition Network (IERN) to achieve the backdoor adjustment, which is one fundamental deconfounding technique in causal inference. A series of designed tests validate the effectiveness of IERN, and experiments on three emotion benchmarks demonstrate that IERN outperforms other state-of-the-art approaches.