継続的学習 (CL) は、一連のタスクを段階的に学習します。一般的な CL 設定には、クラス増分学習 (CIL) とタスク増分学習 (TIL) の 2 つがあります。 CL の主要な課題は、壊滅的忘却 (CF) です。 TIL の CF を効果的に克服するための多くの手法がすでに利用可能ですが、CIL は依然として非常に困難です。これまでのところ、CIL の問題を解決する方法について原則的なガイダンスを提供するための理論的研究はほとんど行われていません。この論文では、そのような研究を行います。最初に、確率論的に、CIL 問題を 2 つのサブ問題に分解できることを示します。タスク内予測 (WP) とタスク ID 予測 (TP) です。さらに、TP が CIL と OOD 検出を結び付ける Out-of-Distribution (OOD) 検出と相関していることを証明しています。この研究の重要な結論は、WP と TP または OOD の検出が CIL アルゴリズムによって明示的または暗黙的に定義されているかどうかに関係なく、適切な WP と適切な TP または OOD 検出が必要であり、優れた CIL パフォーマンスに十分であるということです。さらに、TIL は単に WP です。理論的な結果に基づいて、新しい CIL メソッドも設計されており、CIL と TIL の両方の設定で強力なベースラインよりも大幅に優れています。
Continual learning (CL) learns a sequence of tasks incrementally. There are two popular CL settings, class incremental learning (CIL) and task incremental learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While a number of techniques are already available to effectively overcome CF for TIL, CIL remains to be highly challenging. So far, little theoretical study has been done to provide a principled guidance on how to solve the CIL problem. This paper performs such a study. It first shows that probabilistically, the CIL problem can be decomposed into two sub-problems: Within-task Prediction (WP) and Task-id Prediction (TP). It further proves that TP is correlated with out-of-distribution (OOD) detection, which connects CIL and OOD detection. The key conclusion of this study is that regardless of whether WP and TP or OOD detection are defined explicitly or implicitly by a CIL algorithm, good WP and good TP or OOD detection are necessary and sufficient for good CIL performances. Additionally, TIL is simply WP. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in both CIL and TIL settings by a large margin.