arXiv reaDer
A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels
 ディープラーニングモデルの大成功の背後にある主な原動力は、大規模なデータセットとそのクリーンラベルの可用性です。残念ながら、これを取得するのは非常に困難であり、ラベルノイズが存在する場合のディープモデルのトレーニングとノイズの多いラベルへの過剰適合を回避する方法に関する研究の動機付けとなっています。この作業では、この分野での独創的な作業である「共同指導」に基づいて、このタスクのmCT-S2R(自己監督と再ラベル付けを伴う修正共同指導)と呼ばれるシンプルでありながら効率的なアプローチを提案します。まず、ラベル内の大量のノイズに対処するために、自己監視を使用して、ラベルを使用せずに堅牢な機能を生成することを提案します。次に、並列ネットワークアーキテクチャを使用して、データのラベルの付いたクリーンな部分の推定値を取得します。最後に、このデータを使用して、推定されたノイズのあるラベル付けされた部分の一部にラベルが付け直された後、拡張データでネットワークトレーニングが再開されます。 3つの標準データセットに関する広範な実験により、提案されたフレームワークの有効性が示されています。
The major driving force behind the immense success of deep learning models is the availability of large datasets along with their clean labels. Unfortunately, this is very difficult to obtain, which has motivated research on the training of deep models in the presence of label noise and ways to avoid over-fitting on the noisy labels. In this work, we build upon the seminal work in this area, Co-teaching and propose a simple, yet efficient approach termed mCT-S2R (modified co-teaching with self-supervision and re-labeling) for this task. First, to deal with significant amount of noise in the labels, we propose to use self-supervision to generate robust features without using any labels. Next, using a parallel network architecture, an estimate of the clean labeled portion of the data is obtained. Finally, using this data, a portion of the estimated noisy labeled portion is re-labeled, before resuming the network training with the augmented data. Extensive experiments on three standard datasets show the effectiveness of the proposed framework.
updated: Wed Jan 01 2020 07:36:42 GMT+0000 (UTC)
published: Sun Oct 13 2019 06:50:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト