継続的な学習では、システムは壊滅的な忘却なしに非定常データストリームから段階的に学習する必要があります。最近、ImageNetなどの大規模な画像分類タスクのクラスを段階的に学習するための複数の方法が考案されました。最先端の継続学習方法では、最初の教師あり事前トレーニングフェーズを使用します。このフェーズでは、データセット内のクラスの最初の10%〜50%を使用して、新しいクラスの継続学習が始まる前にオフラインで表現を学習します。 。特に事前トレーニングに使用されるサンプルの数が少ない場合、自己教師あり事前トレーニングは、教師あり学習よりも一般化する機能を生成できると仮定します。自己教師ありMoCo-V2およびSwAVアルゴリズムを使用して、この仮説をテストします。 ImageNetでは、両方ともオンライン継続学習の教師あり事前トレーニングを大幅に上回っており、利用可能なサンプルが少ないほどゲインが大きくなることがわかります。私たちの調査結果は、3つの継続的な学習アルゴリズム全体で一貫しています。私たちの最高のシステムは、オンライン継続学習のための以前の最先端技術と比較して、クラスインクリメンタルImageNetでトップ1の精度を14.95%相対的に向上させます。
In continual learning, a system must incrementally learn from a non-stationary data stream without catastrophic forgetting. Recently, multiple methods have been devised for incrementally learning classes on large-scale image classification tasks, such as ImageNet. State-of-the-art continual learning methods use an initial supervised pre-training phase, in which the first 10% - 50% of the classes in a dataset are used to learn representations in an offline manner before continual learning of new classes begins. We hypothesize that self-supervised pre-training could yield features that generalize better than supervised learning, especially when the number of samples used for pre-training is small. We test this hypothesis using the self-supervised MoCo-V2 and SwAV algorithms. On ImageNet, we find that both outperform supervised pre-training considerably for online continual learning, and the gains are larger when fewer samples are available. Our findings are consistent across three continual learning algorithms. Our best system achieves a 14.95% relative increase in top-1 accuracy on class incremental ImageNet over the prior state of the art for online continual learning.