標準のクロスエントロピー損失でトレーニングされたディープニューラルネットワークは、ノイズの多いラベルを記憶し、パフォーマンスを低下させます。この暗記を軽減するためのほとんどの研究は、新しいロバストな分類損失関数を提案しています。逆に、対照的な学習と分類を共同で活用して相互に助け合い、ラベルノイズに対するパフォーマンスを向上させる多目的補間トレーニング(MOIT)アプローチを提案します。標準の教師あり対照学習がラベルノイズの存在下で劣化することを示し、この動作を軽減するための補間トレーニング戦略を提案します。さらに、対照的な学習によって学習されたロバストな特徴表現を活用して、元のラベルとの不一致がノイズの多いサンプルを正確に識別するサンプルごとのソフトラベルを推定する新しいラベルノイズ検出方法を提案します。この検出により、ノイズの多いサンプルをラベルなしとして扱い、半教師ありの方法で分類器をトレーニングして、ノイズの記憶を防ぎ、表現学習を向上させることができます。さらに、検出されたクリーンなサンプルを微調整することでMOITを改良したMOIT +を提案します。ハイパーパラメータとアブレーションの研究により、私たちの方法の重要な要素が検証されます。合成および実世界のノイズベンチマークに関する実験は、MOIT / MOIT +が最先端の結果を達成することを示しています。コードはhttps://git.io/JI40Xで入手できます。
Deep neural networks trained with standard cross-entropy loss memorize noisy labels, which degrades their performance. Most research to mitigate this memorization proposes new robust classification loss functions. Conversely, we propose a Multi-Objective Interpolation Training (MOIT) approach that jointly exploits contrastive learning and classification to mutually help each other and boost performance against label noise. We show that standard supervised contrastive learning degrades in the presence of label noise and propose an interpolation training strategy to mitigate this behavior. We further propose a novel label noise detection method that exploits the robust feature representations learned via contrastive learning to estimate per-sample soft-labels whose disagreements with the original labels accurately identify noisy samples. This detection allows treating noisy samples as unlabeled and training a classifier in a semi-supervised manner to prevent noise memorization and improve representation learning. We further propose MOIT+, a refinement of MOIT by fine-tuning on detected clean samples. Hyperparameter and ablation studies verify the key components of our method. Experiments on synthetic and real-world noise benchmarks demonstrate that MOIT/MOIT+ achieves state-of-the-art results. Code is available at https://git.io/JI40X.