自己トレーニングは、単純な半教師あり学習アプローチです。信頼性の高い予測を引き付けるラベルのない例には、予測のラベルが付けられ、トレーニングセットに追加されます。このプロセスは、複数回繰り返されます。最近、自己監視(自動生成された口実タスクを解決することによる手動監視なしの学習)が深層学習で注目を集めています。このホワイトペーパーでは、自己監視を自己トレーニングに組み込んで画像分類の精度を向上させる3つの異なる方法を調査します。事前トレーニングのみとしての自己監視、自己トレーニングの最初の反復でのみ実行される自己監視、およびすべてに追加される自己監視です。自己訓練の反復。ゼロからのトレーニングとImagenetで事前トレーニングされた重みの両方を使用した、SVHN、CIFAR-10、およびPlantVillageデータセットの経験的結果は、自己トレーニングの最初の反復でのみ自己監視を適用すると、精度が大幅に向上し、適度な増加が得られることを示しています。計算時間で。
Self-training is a simple semi-supervised learning approach: Unlabelled examples that attract high-confidence predictions are labelled with their predictions and added to the training set, with this process being repeated multiple times. Recently, self-supervision -- learning without manual supervision by solving an automatically-generated pretext task -- has gained prominence in deep learning. This paper investigates three different ways of incorporating self-supervision into self-training to improve accuracy in image classification: self-supervision as pretraining only, self-supervision performed exclusively in the first iteration of self-training, and self-supervision added to every iteration of self-training. Empirical results on the SVHN, CIFAR-10, and PlantVillage datasets, using both training from scratch, and Imagenet-pretrained weights, show that applying self-supervision only in the first iteration of self-training can greatly improve accuracy, for a modest increase in computation time.