arXiv reaDer
Certainty Driven Consistency Loss on Multi-Teacher Networks for Semi-Supervised Learning
半教師あり学習で成功するアプローチの1つは、一貫性の正則化に基づいています。通常、学生モデルは、さまざまな摂動下での入力に対する教師の予測と一致するようにトレーニングされます。成功するためには、教師によって与えられた予測目標は質が高い必要があります。そうでないと、生徒は教師に誤解される可能性があります。残念ながら、既存の方法では教師の目標の質を評価していません。この論文では、一貫性の喪失における予測の不確実性を利用して、学生が信頼できるターゲットから動的に学習できるようにする、新しい確実性主導の一貫性の喪失(CCL)を提案します。具体的には、2つのアプローチ、つまり、不確実な予測を除外するか、整合性の正則化でそれらにあまり注意を払わないようにするためのフィルタリングCCLと温度CCLを提案します。さらに、モデルの違いを促進するために、新しい分離フレームワークを紹介します。 SVHN、CIFAR-10、およびCIFAR-100の実験結果は、いくつかの既存の方法に対する私たちの方法の利点を示しています。
One of the successful approaches in semi-supervised learning is based on the consistency regularization. Typically, a student model is trained to be consistent with teacher prediction for the inputs under different perturbations. To be successful, the prediction targets given by teacher should have good quality, otherwise the student can be misled by teacher. Unfortunately, existing methods do not assess the quality of the teacher targets. In this paper, we propose a novel Certainty-driven Consistency Loss (CCL) that exploits the predictive uncertainty in the consistency loss to let the student dynamically learn from reliable targets. Specifically, we propose two approaches, i.e. Filtering CCL and Temperature CCL to either filter out uncertain predictions or pay less attention on them in the consistency regularization. We further introduce a novel decoupled framework to encourage model difference. Experimental results on SVHN, CIFAR-10, and CIFAR-100 demonstrate the advantages of our method over a few existing methods.
updated: Fri May 07 2021 07:29:46 GMT+0000 (UTC)
published: Thu Jan 17 2019 07:30:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト