arXiv reaDer
ノイズの多いラベルの過剰適合に対する自己ペースの抵抗学習
Self-paced Resistance Learning against Overfitting on Noisy Labels
正しいラベルと破損したラベルで構成されるノイズの多いラベルは、実際には広く行き渡っています。 CNNは破損したラベルに簡単に過剰適合するため、畳み込みニューラルネットワーク(CNN)のパフォーマンスが大幅に低下する可能性があります。観察に触発されたこの問題に対処するために、ディープニューラルネットワークは最初におそらく正しいラベルデータを記憶し、次に破損ラベルサンプルを記憶する可能性があります。クリーンな検証を使用せずに、破損したラベルに抵抗するための斬新でシンプルなセルフペース抵抗フレームワークを提案します。データ。提案されたフレームワークは、最初にCNNの記憶効果を利用して、自信のあるサンプルを含み、他のトレーニングサンプルに意味のある監督を提供するカリキュラムを学習します。次に、選択された信頼できるサンプルと提案された抵抗損失を採用して、モデルパラメータを更新します。抵抗損失は、モデルパラメータの更新をスムーズにするか、各クラスで同等の予測を達成する傾向があるため、破損したラベルへのモデルの過剰適合に抵抗します。最後に、これら2つのモジュールを単一の損失関数に統合し、代替学習で最適化します。広範な実験により、ノイズの多いラベルデータに対する最近の最先端の方法よりも、提案されたフレームワークのパフォーマンスが大幅に優れていることが実証されています。提案された方法のソースコードは、https://github.com/xsshi2015/Self-paced-Resistance-Learningで入手できます。
Noisy labels composed of correct and corrupted ones are pervasive in practice. They might significantly deteriorate the performance of convolutional neural networks (CNNs), because CNNs are easily overfitted on corrupted labels. To address this issue, inspired by an observation, deep neural networks might first memorize the probably correct-label data and then corrupt-label samples, we propose a novel yet simple self-paced resistance framework to resist corrupted labels, without using any clean validation data. The proposed framework first utilizes the memorization effect of CNNs to learn a curriculum, which contains confident samples and provides meaningful supervision for other training samples. Then it adopts selected confident samples and a proposed resistance loss to update model parameters; the resistance loss tends to smooth model parameters' update or attain equivalent prediction over each class, thereby resisting model overfitting on corrupted labels. Finally, we unify these two modules into a single loss function and optimize it in an alternative learning. Extensive experiments demonstrate the significantly superior performance of the proposed framework over recent state-of-the-art methods on noisy-label data. Source codes of the proposed method are available on https://github.com/xsshi2015/Self-paced-Resistance-Learning.
updated: Fri May 07 2021 04:17:20 GMT+0000 (UTC)
published: Fri May 07 2021 04:17:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト