arXiv reaDer
ノイズの多い生徒によるセルフトレーニングでImageNet分類が改善
Self-training with Noisy Student improves ImageNet classification
 ラベル付きデータが豊富な場合でも適切に機能する半教師あり学習アプローチである、ノイズの多い学生のトレーニングを紹介します。 Noisy Student Trainingは、ImageNetで88.4%のトップ1精度を達成します。これは、3.5Bの弱いラベルのInstagram画像を必要とする最新モデルより2.0%優れています。堅牢性テストセットでは、ImageNet-Aのトップ1の精度が61.0%から83.7%に向上し、ImageNet-Cの平均破損エラーが45.7から28.3に減少し、ImageNet-Pの平均フリップレートが27.8から12.2に減少しています。騒々しい学生トレーニングは、同等以上の学生モデルと学習中に学生に追加されたノイズを使用して、自己トレーニングと蒸留のアイデアを拡張します。 ImageNetでは、最初にラベル付き画像でEfficientNetモデルをトレーニングし、それを教師として使用して、300Mのラベルなし画像の疑似ラベルを生成します。次に、ラベル付けされたイメージと疑似ラベル付けされたイメージの組み合わせについて、より大きなEfficientNetを学生モデルとしてトレーニングします。生徒を教師として戻すことで、このプロセスを繰り返します。生徒の学習中に、RandAugmentを介してドロップアウト、確率論的な深さ、データ拡張などのノイズを生徒に注入し、生徒が教師よりも一般化するようにします。モデルはhttps://github.com/tensorflow/tpu/tree/master/models/official/efficientnetで入手できます。コードはhttps://github.com/google-research/noisystudentで入手できます。
We present Noisy Student Training, a semi-supervised learning approach that works well even when labeled data is abundant. Noisy Student Training achieves 88.4% top-1 accuracy on ImageNet, which is 2.0% better than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves ImageNet-A top-1 accuracy from 61.0% to 83.7%, reduces ImageNet-C mean corruption error from 45.7 to 28.3, and reduces ImageNet-P mean flip rate from 27.8 to 12.2. Noisy Student Training extends the idea of self-training and distillation with the use of equal-or-larger student models and noise added to the student during learning. On ImageNet, we first train an EfficientNet model on labeled images and use it as a teacher to generate pseudo labels for 300M unlabeled images. We then train a larger EfficientNet as a student model on the combination of labeled and pseudo labeled images. We iterate this process by putting back the student as the teacher. During the learning of the student, we inject noise such as dropout, stochastic depth, and data augmentation via RandAugment to the student so that the student generalizes better than the teacher. Models are available at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet. Code is available at https://github.com/google-research/noisystudent.
updated: Fri Jun 19 2020 17:36:57 GMT+0000 (UTC)
published: Mon Nov 11 2019 18:59:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト