最近、半教師あり学習(SSL)は、ラベルがほとんど提供されていないのに、ラベルのないデータを活用することに大きな期待を寄せています。この論文では、トレーニング中に断続的にエポック全体のラベルを完全に無視すると、少量のサンプルレジームでのパフォーマンスを大幅に向上できることを示します。より具体的には、2つのタスクでネットワークを共同でトレーニングすることを提案します。一次分類タスクは、ラベルのないデータとほとんど注釈のないデータの両方に公開されますが、二次タスクは、ラベルなしでデータをクラスター化しようとします。自己監視で頻繁に使用される手作りの口実タスクとは対照的に、クラスタリングフェーズでは、同じ分類ネットワークとヘッドを使用して、主要なタスクを緩和し、ラベルからの情報を過剰適合せずに伝播しようとします。さらに、教師なし学習フェーズでは、トレーニングを安定させるために、画像の回転を分類する自己教師あり手法が組み込まれています。いくつかの最先端のSSLアルゴリズムを強化し、結果を大幅に改善し、CIFAR-10で92.6%の精度、SVHNで96.9%の精度を含む、さまざまな標準的な半教師ありベンチマークでの実行時間を短縮する方法の有効性を示します。各タスクのクラスごとに4つのラベル。また、クラスごとに1、2、および3のラベルという極端な場合の結果を大幅に改善し、モデルによって学習された機能がデータを分離するためにより有意義であることを示します。
Recently, Semi-Supervised Learning (SSL) has shown much promise in leveraging unlabeled data while being provided with very few labels. In this paper, we show that ignoring the labels altogether for whole epochs intermittently during training can significantly improve performance in the small sample regime. More specifically, we propose to train a network on two tasks jointly. The primary classification task is exposed to both the unlabeled and the scarcely annotated data, whereas the secondary task seeks to cluster the data without any labels. As opposed to hand-crafted pretext tasks frequently used in self-supervision, our clustering phase utilizes the same classification network and head in an attempt to relax the primary task and propagate the information from the labels without overfitting them. On top of that, the self-supervised technique of classifying image rotations is incorporated during the unsupervised learning phase to stabilize training. We demonstrate our method's efficacy in boosting several state-of-the-art SSL algorithms, significantly improving their results and reducing running time in various standard semi-supervised benchmarks, including 92.6% accuracy on CIFAR-10 and 96.9% on SVHN, using only 4 labels per class in each task. We also notably improve the results in the extreme cases of 1,2 and 3 labels per class, and show that features learned by our model are more meaningful for separating the data.