arXiv reaDer
ノイズの多いラベルで学習するための非対称損失関数
Asymmetric Loss Functions for Learning with Noisy Labels
ロバストな損失関数は、ノイズの多いラベルが存在する場合に、より優れた汎化力でディープ ニューラル ネットワークをトレーニングするために不可欠です。対称損失関数は、ラベル ノイズに対してロバストであることが確認されています。ただし、対称条件は制限が厳しすぎます。この作業では、新しいクラスの損失関数、つまり、さまざまなタイプのノイズに対するノイズの多いラベルを使用した学習に対してロバストな非対称損失関数を提案します。分類のキャリブレーション、過剰リスク バウンド、ノイズ耐性など、非対称損失関数の一般的な理論的特性を調査します。一方、損失関数の非対称性を測定するために非対称比を導入します。経験的な結果は、比率が高いほどノイズ耐性が向上することを示しています。さらに、一般的に使用されるいくつかの損失関数を変更し、それらが非対称になるための必要十分条件を確立します。ベンチマーク データセットの実験結果は、非対称損失関数が最先端の方法よりも優れていることを示しています。コードは https://github.com/hitcszx/ALFshttps://github.com/hitcszx/ALFs で入手できます。
Robust loss functions are essential for training deep neural networks with better generalization power in the presence of noisy labels. Symmetric loss functions are confirmed to be robust to label noise. However, the symmetric condition is overly restrictive. In this work, we propose a new class of loss functions, namely asymmetric loss functions, which are robust to learning with noisy labels for various types of noise. We investigate general theoretical properties of asymmetric loss functions, including classification calibration, excess risk bound, and noise tolerance. Meanwhile, we introduce the asymmetry ratio to measure the asymmetry of a loss function. The empirical results show that a higher ratio would provide better noise tolerance. Moreover, we modify several commonly-used loss functions and establish the necessary and sufficient conditions for them to be asymmetric. Experimental results on benchmark datasets demonstrate that asymmetric loss functions can outperform state-of-the-art methods. The code is available at https://github.com/hitcszx/ALFshttps://github.com/hitcszx/ALFs
updated: Sun Jun 06 2021 12:52:48 GMT+0000 (UTC)
published: Sun Jun 06 2021 12:52:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト