ノイズの多いラベルを使用してニューラル ネットワークを最適化することは、特にラベル セットに現実世界のノイズが含まれている場合は困難な作業です。ネットワークは、トレーニングの初期段階では合理的なパターンに一般化され、後の段階ではノイズの多いサンプルの特定の詳細にオーバーフィットする傾向があります。 Blind Knowledge Distillation (Blind Knowledge Distillation) を導入します。これは、教師と生徒の新しいアプローチで、ノイズの多いラベルを使用して学習する方法です。これは、グラウンド トゥルースに関連する教師の出力をマスクして、破損している可能性のある知識を除外し、一般化から過剰適合への転換点を推定することによって行われます。これに基づいて、Otsus アルゴリズムを使用してトレーニング データのノイズを推定できるようにします。この推定により、修正された加重クロスエントロピー損失関数を使用してネットワークをトレーニングします。私たちの実験では、Blind Knowledge Distillation がトレーニング中にオーバーフィッティングを効果的に検出し、最近公開された CIFAR-N データセットでクリーンでノイズの多いラベルの検出を改善することを示しています。コードは GitHub で入手できます。
Optimizing neural networks with noisy labels is a challenging task, especially if the label set contains real-world noise. Networks tend to generalize to reasonable patterns in the early training stages and overfit to specific details of noisy samples in the latter ones. We introduce Blind Knowledge Distillation - a novel teacher-student approach for learning with noisy labels by masking the ground truth related teacher output to filter out potentially corrupted knowledge and to estimate the tipping point from generalizing to overfitting. Based on this, we enable the estimation of noise in the training data with Otsus algorithm. With this estimation, we train the network with a modified weighted cross-entropy loss function. We show in our experiments that Blind Knowledge Distillation detects overfitting effectively during training and improves the detection of clean and noisy labels on the recently published CIFAR-N dataset. Code is available at GitHub.