arXiv reaDer
Robust Learning by Self-Transition for Handling Noisy Labels
現実世界のデータには必然的にノイズの多いラベルが含まれ、ディープ ニューラル ネットワークの一般化が不十分になります。ネットワークは通常、トレーニングの特定の時点の後、誤ってラベル付けされたサンプルを急速に記憶し始めることが知られています。したがって、ラベル ノイズの課題に対処するために、MORPH と呼ばれる新しい自己遷移学習方法を提案します。これは、シードから進化への遷移点で学習フェーズを自動的に切り替えるものです。シード段階では、すべてのサンプルを使用してネットワークが更新され、クリーンなサンプルのシードが収集されます。次に、進化段階では、ネットワークは、間違いなくクリーンなサンプルのセットのみを使用して更新され、更新されたネットワークによって正確に拡大し続けます。したがって、MORPH は、トレーニング期間全体を通じて、誤ってラベル付けされたサンプルへの過剰適合を効果的に回避します。 5 つの現実世界または合成ベンチマーク データセットを使用した広範な実験は、堅牢性と効率の点で最先端の方法を大幅に改善することを示しています。
Real-world data inevitably contains noisy labels, which induce the poor generalization of deep neural networks. It is known that the network typically begins to rapidly memorize false-labeled samples after a certain point of training. Thus, to counter the label noise challenge, we propose a novel self-transitional learning method called MORPH, which automatically switches its learning phase at the transition point from seeding to evolution. In the seeding phase, the network is updated using all the samples to collect a seed of clean samples. Then, in the evolution phase, the network is updated using only the set of arguably clean samples, which precisely keeps expanding by the updated network. Thus, MORPH effectively avoids the overfitting to false-labeled samples throughout the entire training period. Extensive experiments using five real-world or synthetic benchmark datasets demonstrate substantial improvements over state-of-the-art methods in terms of robustness and efficiency.
updated: Mon Jun 07 2021 10:29:02 GMT+0000 (UTC)
published: Tue Dec 08 2020 10:25:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト