ノイズの多いラベルを使用した学習は、正確なディープニューラルネットワークをトレーニングするための重要で困難なタスクです。クロスエントロピー(CE)など、一般的に使用されるいくつかの損失関数は、ノイズの多いラベルへの深刻な過剰適合に悩まされています。対称条件を満たすロバストな損失関数は、この問題を解決するために調整されましたが、アンダーフィッティング効果が発生します。この論文では、ネットワーク出力を固定ベクトル上の順列のセットに制限することにより、ノイズの多いラベルに対して損失をロバストにすることができることを理論的に証明します。固定ベクトルがワンホットの場合、出力をワンホットに制限するだけで済みますが、ほとんどすべての場所でゼロ勾配が生成されるため、勾配ベースの最適化が困難になります。この作業では、ネットワークの出力分布をシャープにするネットワーク出力シャープニング操作と、促進するℓ_p-norm(p≤1)正規化で構成される、ワンホット制約を近似するスパース正則化戦略を紹介します。スパースになるネットワーク出力。この単純なアプローチは、フィッティング能力を妨げることなく、任意の損失関数のロバスト性を保証します。実験結果は、私たちの方法が、ノイズの多いラベルとクラスの不均衡の存在下で一般的に使用される損失関数のパフォーマンスを大幅に改善し、最先端の方法よりも優れていることを示しています。コードはhttps://github.com/hitcszx/lnl_srで入手できます。
Learning with noisy labels is an important and challenging task for training accurate deep neural networks. Some commonly-used loss functions, such as Cross Entropy (CE), suffer from severe overfitting to noisy labels. Robust loss functions that satisfy the symmetric condition were tailored to remedy this problem, which however encounter the underfitting effect. In this paper, we theoretically prove that any loss can be made robust to noisy labels by restricting the network output to the set of permutations over a fixed vector. When the fixed vector is one-hot, we only need to constrain the output to be one-hot, which however produces zero gradients almost everywhere and thus makes gradient-based optimization difficult. In this work, we introduce the sparse regularization strategy to approximate the one-hot constraint, which is composed of network output sharpening operation that enforces the output distribution of a network to be sharp and the ℓ_p-norm (p≤1) regularization that promotes the network output to be sparse. This simple approach guarantees the robustness of arbitrary loss functions while not hindering the fitting ability. Experimental results demonstrate that our method can significantly improve the performance of commonly-used loss functions in the presence of noisy labels and class imbalance, and outperform the state-of-the-art methods. The code is available at https://github.com/hitcszx/lnl_sr.