自己教師あり学習における最近の進歩は、そのようなアルゴリズムが、タスク固有の監督に依存する共同トレーニング方法よりも、目に見えないタスクにうまく転送できる視覚的表現を学習することを示しています。この論文では、継続学習の文脈でも同様のことが当てはまることがわかりました。対照的に学習された表現は、共同で訓練された表現よりも壊滅的な忘却に対してより堅牢です。この新しい観察に基づいて、転送可能な表現を継続的に学習および維持することに焦点を当てたリハーサルベースの継続的学習アルゴリズムを提案します。より具体的には、提案されたスキームは、(1)対照的な学習目的を使用して表現を学習し、(2)自己監視蒸留ステップを使用して学習された表現を保存する。私たちは、人気のあるベンチマーク画像分類データセットの下で広範な実験的検証を実施します。そこでは、私たちの方法が新しい最先端のパフォーマンスを設定します。
Recent breakthroughs in self-supervised learning show that such algorithms learn visual representations that can be transferred better to unseen tasks than joint-training methods relying on task-specific supervision. In this paper, we found that the similar holds in the continual learning con-text: contrastively learned representations are more robust against the catastrophic forgetting than jointly trained representations. Based on this novel observation, we propose a rehearsal-based continual learning algorithm that focuses on continually learning and maintaining transferable representations. More specifically, the proposed scheme (1) learns representations using the contrastive learning objective, and (2) preserves learned representations using a self-supervised distillation step. We conduct extensive experimental validations under popular benchmark image classification datasets, where our method sets the new state-of-the-art performance.