ノイズの多いラベル(LNL)メソッドを使用した学習の成功は、完全な(ノイズの多い)トレーニングセットを使用して標準の教師ありトレーニングが実行されるウォームアップステージの成功に大きく依存します。この論文では、「ウォームアップの障害」を特定します。これは、標準のウォームアップ段階で高品質の特徴抽出器をトレーニングできず、ノイズの多いラベルの記憶を回避できないことです。特徴抽出器を自己監視方式で事前トレーニングすることでこの問題を解決するシンプルなフレームワークである「ContrasttoDivide」(C2D)を提案します。自己教師あり事前トレーニングを使用すると、ウォームアップステージのノイズレベルに対する感受性が大幅に低下し、その期間が短縮され、抽出された特徴の品質が向上するため、既存のLNLアプローチのパフォーマンスが向上します。 C2Dは、既存の方法でそのまま動作し、特に高ノイズ領域で著しく改善されたパフォーマンスを示します。CIFAR-100では、以前の最先端技術に比べて90%のノイズで27%以上のブーストが得られます。実際のノイズ設定では、ミニWebVisionでトレーニングされたC2Dは、WebVisionとImageNetの両方の検証セットで以前の作業を3%のトップ1精度で上回っています。さまざまな事前トレーニングアプローチのパフォーマンスの調査や、半教師あり学習によるLNLパフォーマンスの有効な上限の推定など、フレームワークの詳細な分析を実行します。実験を再現するためのコードは、https://github.com/ContrastToDivide/C2Dで入手できます。
The success of learning with noisy labels (LNL) methods relies heavily on the success of a warm-up stage where standard supervised training is performed using the full (noisy) training set. In this paper, we identify a "warm-up obstacle": the inability of standard warm-up stages to train high quality feature extractors and avert memorization of noisy labels. We propose "Contrast to Divide" (C2D), a simple framework that solves this problem by pre-training the feature extractor in a self-supervised fashion. Using self-supervised pre-training boosts the performance of existing LNL approaches by drastically reducing the warm-up stage's susceptibility to noise level, shortening its duration, and increasing extracted feature quality. C2D works out of the box with existing methods and demonstrates markedly improved performance, especially in the high noise regime, where we get a boost of more than 27% for CIFAR-100 with 90% noise over the previous state of the art. In real-life noise settings, C2D trained on mini-WebVision outperforms previous works both in WebVision and ImageNet validation sets by 3% top-1 accuracy. We perform an in-depth analysis of the framework, including investigating the performance of different pre-training approaches and estimating the effective upper bound of the LNL performance with semi-supervised learning. Code for reproducing our experiments is available at https://github.com/ContrastToDivide/C2D