arXiv reaDer
Snowball: Iterative Model Evolution and Confident Sample Discovery for Semi-Supervised Learning on Very Small Labeled Datasets
  この作業では、非常に小さなラベル付きトレーニングセットでの半教師付き学習のための共同サンプル発見と反復モデル進化法を開発します。複数の反復と世代のモデル進化プロセス中に多層ガイダンスを提供するために、マスターティーチャー学生モデルフレームワークを提案します。教師モデルは、過去のトレーニングステップから取得した学生モデルの指数移動平均を実行することにより構築されます。マスターネットワークは、生徒と教師のモデルの知識と、新しく発見されたサンプルへの追加アクセスを組み合わせます。次に、マスターモデルと教師モデルを使用して、ラベルなしサンプルの予測間の一貫性を強化し、ますます多くのサンプルが検出されたときにすべてのモデルを進化させることにより、学生ネットワークのトレーニングをガイドします。広範な実験により、ラベルのないデータセットから自信のあるサンプルを発見すると、上記の教師と教師と生徒のネットワークの進化と相まって、全体的な半教師付き学習のパフォーマンスが大幅に向上することがわかります。たとえば、CIFAR-10データセットでは、250個のラベル付きサンプルの非常に小さなセットで、このメソッドは11.81%のエラー率を達成し、最先端のメソッドMean-Teacher(49.91 %)。
In this work, we develop a joint sample discovery and iterative model evolution method for semi-supervised learning on very small labeled training sets. We propose a master-teacher-student model framework to provide multi-layer guidance during the model evolution process with multiple iterations and generations. The teacher model is constructed by performing an exponential moving average of the student models obtained from past training steps. The master network combines the knowledge of the student and teacher models with additional access to newly discovered samples. The master and teacher models are then used to guide the training of the student network by enforcing the consistence between their predictions of unlabeled samples and evolve all models when more and more samples are discovered. Our extensive experiments demonstrate that the discovering confident samples from the unlabeled dataset, once coupled with the above master-teacher-student network evolution, can significantly improve the overall semi-supervised learning performance. For example, on the CIFAR-10 dataset, with a very small set of 250 labeled samples, our method achieves an error rate of 11.81 %, more than 38 % lower than the state-of-the-art method Mean-Teacher (49.91 %).
updated: Wed Sep 04 2019 03:41:27 GMT+0000 (UTC)
published: Wed Sep 04 2019 03:41:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト