arXiv reaDer
Image recognition from raw labels collected without annotators
 画像分類の問題は、通常、最初に候補ラベルを含むサンプルを収集し、2番目に候補ラベルを手動でクリーニングし、3番目にクリーンなサンプルでディープニューラルネットワークをトレーニングすることで対処します。手動のラベル付け手順は、多くの場合、何百万もの画像にラベルを付ける必要があるため、最も高価なものです。この論文では、i)ノイズの多い候補ラベルでディープニューラルネットワークを直接トレーニングし、ii)オーバーフィットを避けるためにトレーニングを早期に停止することにより、明示的にラベル付けされたデータなしで作業することを提案します。この手順では、(確率的)勾配降下法で学習された標準のオーバーパラメーター化畳み込みニューラルネットワークの興味深い特性を利用します。クリーンラベルはノイズの多いラベルよりも速く適合します。 ImageNetのサブセットとCIFAR-10の2つの分類問題を検討します。どちらについても、明確な人間の注釈なしで、クラスごとに10%〜50%の正しくラベル付けされた例を含む大規模な候補データセットを構築します。候補の例のトレーニングと早期停止による正則化は、元のクリーンなデータをトレーニングする場合よりも、両方の問題のテストパフォーマンスが向上することを示しています。これが可能なのは、候補データセットに多数のクリーンなサンプルが含まれているためです。このホワイトペーパーで示すように、ラベル収集プロセスで生成されるノイズは、ラベルをランダムに反転することで生成されるノイズほど学習の敵ではありません。
Image classification problems are typically addressed by first collecting examples with candidate labels, second cleaning the candidate labels manually, and third training a deep neural network on the clean examples. The manual labeling step is often the most expensive one as it requires workers to label millions of images. In this paper we propose to work without any explicitly labeled data by i) directly training the deep neural network on the noisy candidate labels, and ii) early stopping the training to avoid overfitting. With this procedure we exploit an intriguing property of standard overparameterized convolutional neural networks trained with (stochastic) gradient descent: Clean labels are fitted faster than noisy ones. We consider two classification problems, a subset of ImageNet and CIFAR-10. For both, we construct large candidate datasets without any explicit human annotations, that only contain 10%-50% correctly labeled examples per class. We show that training on the candidate examples and regularizing through early stopping gives higher test performance for both problems than when training on the original, clean data. This is possible because the candidate datasets contain a huge number of clean examples, and, as we show in this paper, the noise generated through the label collection process is not nearly as adversarial for learning as the noise generated by randomly flipping labels.
updated: Tue Feb 25 2020 23:11:46 GMT+0000 (UTC)
published: Sun Oct 20 2019 19:58:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト