arXiv reaDer
Robust Training with Ensemble Consensus
ディープニューラルネットワークはパラメーター化されすぎているため、ノイズの多い例を記憶することができます。ラベルノイズが存在する場合のこのような記憶の問題に対処します。ディープニューラルネットワークは記憶された特徴の近傍に一般化できないという事実から、ノイズの多い例は、特定の摂動下でネットワーク上で一貫して小さな損失を被らないと仮定します。これに基づいて、摂動ネットワークのアンサンブルのコンセンサスに基づいてノイズの多い例を削除することにより、ノイズの多い例への過剰適合を防ぐ、Learning with Ensemble Consensus(LEC)と呼ばれる新しいトレーニング方法を提案します。提案されたLECの1つであるLTECは、ノイズの多いMNIST、CIFAR-10、およびCIFAR-100の現在の最先端の方法を効率的に上回っています。
Since deep neural networks are over-parameterized, they can memorize noisy examples. We address such a memorization issue in the presence of label noise. From the fact that deep neural networks cannot generalize to neighborhoods of memorized features, we hypothesize that noisy examples do not consistently incur small losses on the network under a certain perturbation. Based on this, we propose a novel training method called Learning with Ensemble Consensus (LEC) that prevents overfitting to noisy examples by removing them based on the consensus of an ensemble of perturbed networks. One of the proposed LECs, LTEC outperforms the current state-of-the-art methods on noisy MNIST, CIFAR-10, and CIFAR-100 in an efficient manner.
updated: Wed Nov 11 2020 09:59:16 GMT+0000 (UTC)
published: Tue Oct 22 2019 06:58:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト