自己教師あり学習(SSL)、特に対照学習は、近年大きな進歩を遂げています。ただし、これらの方法に共通するテーマは、教師あり深層学習シナリオから学習パラダイムを継承することです。現在のSSLメソッドは、高解像度の画像を使用する大規模なデータセットの多くのエポックに対して事前にトレーニングされていることが多く、計算コストが高く、柔軟性に欠けています。この論文では、SSLの学習パラダイムは教師あり学習とは異なる必要があり、コントラスト損失によってエンコードされた情報は、クロスエントロピー損失を介した教師あり学習のラベルにエンコードされた情報よりもはるかに少ないと予想されることを示します。したがって、私たちは、小さな解像度、小さなアーキテクチャ、小さなデータの3つの部分を含む、縮小された自己教師あり学習(S3L)を提案します。 S3Lは、データセット、SSLメソッド、バックボーンアーキテクチャの多様なセットで、以前のSSL学習パラダイムと比較して、はるかに少ないトレーニングコストで一貫して高い精度を実現します。さらに、大規模な事前トレーニングデータセットがなくても、S3Lは小さなデータだけで印象的な結果を達成できることを示しています。私たちのコードはhttps://github.com/CupidJay/Scaled-down-self-supervised-learningで公開されています。
Self-supervised learning (SSL), in particular contrastive learning, has made great progress in recent years. However, a common theme in these methods is that they inherit the learning paradigm from the supervised deep learning scenario. Current SSL methods are often pretrained for many epochs on large-scale datasets using high resolution images, which brings heavy computational cost and lacks flexibility. In this paper, we demonstrate that the learning paradigm for SSL should be different from supervised learning and the information encoded by the contrastive loss is expected to be much less than that encoded in the labels in supervised learning via the cross entropy loss. Hence, we propose scaled-down self-supervised learning (S3L), which include 3 parts: small resolution, small architecture and small data. On a diverse set of datasets, SSL methods and backbone architectures, S3L achieves higher accuracy consistently with much less training cost when compared to previous SSL learning paradigm. Furthermore, we show that even without a large pretraining dataset, S3L can achieve impressive results on small data alone. Our code has been made publically available at https://github.com/CupidJay/Scaled-down-self-supervised-learning.