ERM (経験的リスク最小化) でトレーニングされたニューラル ネットワークは、特にトレーニング データに偏りがある場合、つまりトレーニング ラベルが望ましくない特徴と強く相関している場合に、意図しない決定ルールを学習することがあります。ネットワークがそのような特徴を学習するのを防ぐために、最近の方法ではトレーニング データを増強して、誤った相関関係を示す例 (つまり、バイアスに沿った例) が少数派になるようにし、他のバイアスと矛盾する例が一般的になるようにします。ただし、これらのアプローチは、生成モデルまたは絡み合っていない表現に依存しているため、現実世界のデータへのトレーニングとスケーリングが困難な場合があります。 mixup に基づく代替手段を提案します。これは、トレーニング例の凸状の組み合わせを作成する一般的な拡張です。 SelecMix と名付けられた私たちの方法は、矛盾する例のペアにミックスアップを適用します。これは、(i) 同じラベルであるが異なるバイアスのある特徴、または (ii) 異なるラベルであるが同様のバイアスのある特徴のいずれかを示すものとして定義されます。このようなペアを識別するには、未知の偏った特徴に関して例を比較する必要があります。このために、偏った特徴がトレーニング中に優先的に学習されるという一般的なヒューリスティックを使用して、補助的な対照モデルを利用します。標準的なベンチマークでの実験は、特にラベル ノイズがバイアスの競合する例の識別を複雑にする場合に、この方法の有効性を示しています。
Neural networks trained with ERM (empirical risk minimization) sometimes learn unintended decision rules, in particular when their training data is biased, i.e., when training labels are strongly correlated with undesirable features. To prevent a network from learning such features, recent methods augment training data such that examples displaying spurious correlations (i.e., bias-aligned examples) become a minority, whereas the other, bias-conflicting examples become prevalent. However, these approaches are sometimes difficult to train and scale to real-world data because they rely on generative models or disentangled representations. We propose an alternative based on mixup, a popular augmentation that creates convex combinations of training examples. Our method, coined SelecMix, applies mixup to contradicting pairs of examples, defined as showing either (i) the same label but dissimilar biased features, or (ii) different labels but similar biased features. Identifying such pairs requires comparing examples with respect to unknown biased features. For this, we utilize an auxiliary contrastive model with the popular heuristic that biased features are learned preferentially during training. Experiments on standard benchmarks demonstrate the effectiveness of the method, in particular when label noise complicates the identification of bias-conflicting examples.