arXiv reaDer
教師モデルのアンサンブルによるセルフトレーニング
Self Training with Ensemble of Teacher Models
堅牢な深層学習モデルをトレーニングするには、大量のラベル付きデータが必要です。ただし、ラベル付きデータのこのような大規模なリポジトリがない場合は、ラベルなしデータを悪用することができます。半教師あり学習は、分類モデルのトレーニングにこのようなラベルのないデータを利用することを目的としています。セルフトレーニングベースのアプローチの最近の進歩は、この分野で有望であることが示されています。これは、アンサンブルアプローチを利用するこの研究につながります。半教師ありアプローチの副産物は、特にラベルのないデータに分布外のサンプルが含まれている可能性があるシナリオでは、トレーニング済みモデルのキャリブレーションが失われる可能性があります。これは、このような影響に適応する方法に関するこの調査につながります。私たちが提案するアルゴリズムは、ラベルのないデータを利用する際の一般的な落とし穴を注意深く回避し、バニラの自己トレーニングベースの学生教師アルゴリズムと比較して、より正確で調整された教師ありモデルにつながります。人気のあるSTL-10データベースでいくつかの実験を行った後、アプローチを詳細に分析し、モデルの精度とキャリブレーションへの影響を調査します。
In order to train robust deep learning models, large amounts of labelled data is required. However, in the absence of such large repositories of labelled data, unlabeled data can be exploited for the same. Semi-Supervised learning aims to utilize such unlabeled data for training classification models. Recent progress of self-training based approaches have shown promise in this area, which leads to this study where we utilize an ensemble approach for the same. A by-product of any semi-supervised approach may be loss of calibration of the trained model especially in scenarios where unlabeled data may contain out-of-distribution samples, which leads to this investigation on how to adapt to such effects. Our proposed algorithm carefully avoids common pitfalls in utilizing unlabeled data and leads to a more accurate and calibrated supervised model compared to vanilla self-training based student-teacher algorithms. We perform several experiments on the popular STL-10 database followed by an extensive analysis of our approach and study its effects on model accuracy and calibration.
updated: Sat Jul 17 2021 09:44:09 GMT+0000 (UTC)
published: Sat Jul 17 2021 09:44:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト