経験的研究によると、経験的リスク最小化 (ERM) でトレーニングされた機械学習モデルは、多くの場合、クラス ラベルと誤って相関している可能性のある属性に依存していることが示唆されています。このようなモデルは通常、そのような相関関係を欠くデータの推論中にパフォーマンスの低下につながります。この作業では、潜在的なスプリアス相関がトレーニング データの大部分に存在する状況を明示的に検討します。既存のアプローチとは対照的に、ERM モデルの出力を使用して疑似相関なしでサンプルを検出し、それらのサンプルをヒューリスティックにアップウエイトまたはアップサンプリングします。サンプルロジットを補正するために、ソフトマックスクロスエントロピー損失の単純で効果的な改善であるロジット補正(LC)損失を提案します。 LC損失を最小化することは、グループバランスの取れた精度を最大化することと同等であるため、提案されたLCはスプリアス相関の悪影響を軽減できることを示しています。私たちの広範な実験結果は、提案された LC 損失が複数の一般的なベンチマークで SoTA ソリューションよりも大幅に優れていることをさらに明らかにしています。 LC は、属性ラベルを利用するオラクルの方法とも競合します。コードは https://github.com/shengliu66/LC で入手できます。
Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations, and either heuristically upweighting or upsampling those samples; we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms the SoTA solutions on multiple popular benchmarks by a large margin, an average 5.5% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.