人工学習システムの場合、データのストリームから時間の経過とともに継続的に学習することが不可欠です。教師あり継続学習に関する急成長している研究は大きな進歩を遂げましたが、教師なし学習における壊滅的な忘却の研究はまだ空白です。教師なし学習方法の中で、自己監視学習方法は、大規模なラベル付きデータがなくても、視覚的表現に大きな可能性を示します。自己教師あり学習の視覚的表現を改善するには、より大きく、より多様なデータが必要です。現実の世界では、ラベルのないデータが常に生成されます。この状況は、自己教師あり法の学習に大きな利点をもたらします。ただし、現在のパラダイムでは、以前のデータと現在のデータを一緒にパックして再度トレーニングすることは、時間とリソースの無駄です。したがって、継続的な自己教師あり学習方法が非常に必要です。この論文では、以前のデータからいくつかの模範を保持するリハーサル方法を提案することにより、継続的な対照的な自己教師あり学習を実装する最初の試みを行います。保存されたエグザンプラをトレーニング用の現在のデータセットと直接組み合わせる代わりに、保存されたエグザンプラのセットに対して古いネットワークによって推測された類似性スコア分布を模倣することにより、自己監視知識蒸留を活用して、以前のデータ間の対照的な情報を現在のネットワークに転送します。さらに、ネットワークが以前のデータと現在のデータを区別し、独自の特徴表現を学習しながら相互干渉を防ぐのを支援するために、追加のサンプルキューを構築します。実験結果は、私たちの方法がCIFAR100とImageNet-Subでうまく機能することを示しています。技術を一切使わずにタスクを学習するベースラインと比較して、画像分類のトップ1の精度は、CIFAR100で1.60%、ImageNet-Subで2.86%、ImageNet-Fullで1.29%向上します。
For artificial learning systems, continual learning over time from a stream of data is essential. The burgeoning studies on supervised continual learning have achieved great progress, while the study of catastrophic forgetting in unsupervised learning is still blank. Among unsupervised learning methods, self-supervise learning method shows tremendous potential on visual representation without any labeled data at scale. To improve the visual representation of self-supervised learning, larger and more varied data is needed. In the real world, unlabeled data is generated at all times. This circumstance provides a huge advantage for the learning of the self-supervised method. However, in the current paradigm, packing previous data and current data together and training it again is a waste of time and resources. Thus, a continual self-supervised learning method is badly needed. In this paper, we make the first attempt to implement the continual contrastive self-supervised learning by proposing a rehearsal method, which keeps a few exemplars from the previous data. Instead of directly combining saved exemplars with the current data set for training, we leverage self-supervised knowledge distillation to transfer contrastive information among previous data to the current network by mimicking similarity score distribution inferred by the old network over a set of saved exemplars. Moreover, we build an extra sample queue to assist the network to distinguish between previous and current data and prevent mutual interference while learning their own feature representation. Experimental results show that our method performs well on CIFAR100 and ImageNet-Sub. Compared with the baselines, which learning tasks without taking any technique, we improve the image classification top-1 accuracy by 1.60% on CIFAR100, 2.86% on ImageNet-Sub and 1.29% on ImageNet-Full under 10 incremental steps setting.