arXiv reaDer
Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning
  最近、一貫性に基づいた方法は、半教師あり学習(SSL)で最先端の結果を達成しました。これらの方法には、常に明示的または暗黙的な教師モデルと生徒モデルという2つの役割が含まれ、一貫性の制約によって異なる摂動の下で予測にペナルティを課します。ただし、教師は本質的に学生の指数移動平均(EMA)であるため、これら2つの役割の重みは密接に関連しています。この作業では、EMAを組み合わせた教師がパフォーマンスのボトルネックを引き起こすことを示します。この問題に対処するため、教師を別の生徒に置き換えるDual Studentを導入します。また、新しい概念である安定したサンプルを定義し、その後、安定化制約が構造がトレーニング可能になるように設計されます。さらに、さらに高いパフォーマンスを実現する2つの方法のバリエーションについて説明します。広範な実験により、この方法がいくつかの主要なSSLベンチマークで分類パフォーマンスを大幅に改善することが示されています。具体的には、13層CNNのエラー率を、1kラベルのCIFAR-10で16.84%から12.39%に、10kラベルのCIFAR-100で34.10%から31.56%に減らします。さらに、我々の方法は、ドメイン適応の明確な改善も達成します。
Recently, consistency-based methods have achieved state-of-the-art results in semi-supervised learning (SSL). These methods always involve two roles, an explicit or implicit teacher model and a student model, and penalize predictions under different perturbations by a consistency constraint. However, the weights of these two roles are tightly coupled since the teacher is essentially an exponential moving average (EMA) of the student. In this work, we show that the coupled EMA teacher causes a performance bottleneck. To address this problem, we introduce Dual Student, which replaces the teacher with another student. We also define a novel concept, stable sample, following which a stabilization constraint is designed for our structure to be trainable. Further, we discuss two variants of our method, which produce even higher performance. Extensive experiments show that our method improves the classification performance significantly on several main SSL benchmarks. Specifically, it reduces the error rate of the 13-layer CNN from 16.84% to 12.39% on CIFAR-10 with 1k labels and from 34.10% to 31.56% on CIFAR-100 with 10k labels. In addition, our method also achieves a clear improvement in domain adaptation.
updated: Tue Sep 03 2019 17:32:11 GMT+0000 (UTC)
published: Tue Sep 03 2019 17:32:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト