コンピューター ビジョン モデルは、継続的に変化するトレーニング データから新しい概念を学習するときに、破滅的忘却として知られる現象に悩まされます。この継続的な学習の問題に対する典型的な解決策は、以前に見たデータの広範なリハーサルを必要とするため、メモリ コストが増加し、データのプライバシーが侵害される可能性があります。最近、事前にトレーニングされた大規模なビジョン トランスフォーマー モデルの出現により、データ リハーサルの代替として迅速なアプローチが可能になりました。これらのアプローチは、プロンプトを生成するためにキークエリメカニズムに依存しており、確立されたリハーサルのない継続的な学習環境で壊滅的な忘却に対して非常に耐性があることがわかっています.ただし、これらの方法の主要なメカニズムは、タスク シーケンスを使用してエンドツーエンドでトレーニングされるわけではありません。私たちの実験は、これが可塑性の低下につながり、したがって新しいタスクの精度を犠牲にし、拡張されたパラメーター容量の恩恵を受けることができないことを示しています。代わりに、入力条件付きの重みで組み立てられたプロンプトコンポーネントのセットを学習して、入力条件付きのプロンプトを生成し、新しい注意ベースのエンドツーエンドのキークエリスキームを作成することを提案します。私たちの実験では、確立されたベンチマークで現在の SOTA メソッド DualPrompt よりも平均精度で 5.4% も優れていることが示されています。また、多くの実用的な設定に対応する、クラス増分タスク シフトとドメイン増分タスク シフトの両方を含む継続的学習ベンチマークで、最新技術を 6.6% もの精度で上回っています。
Computer vision models suffer from a phenomenon known as catastrophic forgetting when learning novel concepts from continuously shifting training data. Typical solutions for this continual learning problem require extensive rehearsal of previously seen data, which increases memory costs and may violate data privacy. Recently, the emergence of large-scale pre-trained vision transformer models has enabled prompting approaches as an alternative to data-rehearsal. These approaches rely on a key-query mechanism to generate prompts and have been found to be highly resistant to catastrophic forgetting in the well-established rehearsal-free continual learning setting. However, the key mechanism of these methods is not trained end-to-end with the task sequence. Our experiments show that this leads to a reduction in their plasticity, hence sacrificing new task accuracy, and inability to benefit from expanded parameter capacity. We instead propose to learn a set of prompt components which are assembled with input-conditioned weights to produce input-conditioned prompts, resulting in a novel attention-based end-to-end key-query scheme. Our experiments show that we outperform the current SOTA method DualPrompt on established benchmarks by as much as 5.4% in average accuracy. We also outperform the state of art by as much as 6.6% accuracy on a continual learning benchmark which contains both class-incremental and domain-incremental task shifts, corresponding to many practical settings.