継続的な学習は、壊滅的な忘却に苦しむことで知られています。これは、以前に学習した概念が、より最近のサンプルを犠牲にして忘れられる現象です。この作業では、継続的な学習が壊滅的な忘却に必然的に関連しているという仮定に挑戦します。継続的に学習したときに壊滅的な忘却に驚くほど苦しむことのない一連のタスクを提示します。これらのタスクの特性についての洞察を提供し、壊滅的な忘却に対して堅牢にし、継続的な分類のためのプロキシ表現学習タスクを持つ可能性を提供しようとしています。さらに、クラスインクリメンタル分類学習タスクで最先端の方法よりも優れた、斬新でありながらシンプルなアルゴリズムであるYASSを紹介します。最後に、連続モデルで表現学習のダイナミクスを追跡するための新しいツールであるDyRTを紹介します。この記事でリリースされたコードベース、データセット、および事前トレーニング済みモデルは、https://github.com/ngailapdi/CLRecにあります。
Continual learning is known for suffering from catastrophic forgetting, a phenomenon where earlier learned concepts are forgotten at the expense of more recent samples. In this work, we challenge the assumption that continual learning is inevitably associated with catastrophic forgetting by presenting a set of tasks that surprisingly do not suffer from catastrophic forgetting when learned continually. We attempt to provide an insight into the property of these tasks that make them robust to catastrophic forgetting and the potential of having a proxy representation learning task for continual classification. We further introduce a novel yet simple algorithm, YASS that outperforms state-of-the-art methods in the class-incremental categorization learning task. Finally, we present DyRT, a novel tool for tracking the dynamics of representation learning in continual models. The codebase, dataset and pre-trained models released with this article can be found at https://github.com/ngailapdi/CLRec.