増分学習は、逐次タスクからディープネットワークを学習する際の壊滅的な忘却を克服することを目的としています。プロンプトベースの手法は、優れた学習効率とパフォーマンスを備え、タスク固有のプロンプトを学習することで、連続したタスクに固定されたバックボーンを採用します。ただし、既存のプロンプトベースの手法は強力な事前トレーニング (通常は ImageNet-21k でトレーニング) に大きく依存しており、事前トレーニング タスクと未知の将来のタスクとの間の潜在的なギャップが大きい場合、そのモデルがトラップされる可能性があることがわかりました。この研究では、学習可能なアダプティブ プロンプト ジェネレーター (APG) を開発します。重要なのは、プロンプトの取得プロセスとプロンプト学習プロセスを学習可能なプロンプト ジェネレーターに統合することです。したがって、プロンプトプロセス全体を最適化して、タスク間のギャップによる悪影響を効果的に低減できます。 APG が非効率な知識を学習しないようにするために、各クラスの特徴分布で APG を正規化するための知識プールを維持します。広範な実験により、私たちの方法は、(強力な)事前トレーニングなしのサンプルなしの増分学習において、高度な方法よりも大幅に優れていることが示されています。さらに、強力な再トレーニングの下では、私たちの方法は既存のプロンプトベースのモデルと同等のパフォーマンスも示しており、私たちの方法が依然として事前トレーニングから恩恵を受けることができることを示しています。コードは https://github.com/TOM-tym/APG にあります。
Incremental learning aims to overcome catastrophic forgetting when learning deep networks from sequential tasks. With impressive learning efficiency and performance, prompt-based methods adopt a fixed backbone to sequential tasks by learning task-specific prompts. However, existing prompt-based methods heavily rely on strong pretraining (typically trained on ImageNet-21k), and we find that their models could be trapped if the potential gap between the pretraining task and unknown future tasks is large. In this work, we develop a learnable Adaptive Prompt Generator (APG). The key is to unify the prompt retrieval and prompt learning processes into a learnable prompt generator. Hence, the whole prompting process can be optimized to reduce the negative effects of the gap between tasks effectively. To make our APG avoid learning ineffective knowledge, we maintain a knowledge pool to regularize APG with the feature distribution of each class. Extensive experiments show that our method significantly outperforms advanced methods in exemplar-free incremental learning without (strong) pretraining. Besides, under strong retraining, our method also has comparable performance to existing prompt-based models, showing that our method can still benefit from pretraining. Codes can be found at https://github.com/TOM-tym/APG