arXiv reaDer
生涯学習の継続的評価: 安定性のギャップの特定
Continual evaluation for lifelong learning: Identifying the stability gap
時間依存のデータ生成分布は、ニューラル ネットワークの勾配ベースのトレーニングにとって困難であることが証明されています。貪欲な更新により、以前に学習した知識が壊滅的に忘却されるためです。この忘却を克服するための継続的学習の分野での進歩にもかかわらず、一連の一般的な最先端の方法は、新しいタスクの学習を開始する際に依然としてかなりの忘却に悩まされていることを示しています。パフォーマンス回復の段階。この興味をそそるが潜在的に問題のある現象を、安定性のギャップと呼びます。安定性のギャップは、各タスクの後でのみ継続的な学習モデルを評価するという分野での標準的な慣行により、レーダーの下に残っていた可能性があります.代わりに、反復ごとの評価を使用する継続的な評価のフレームワークを確立し、最悪の場合のパフォーマンスを定量化するための新しい一連のメトリックを定義します。経験的に、経験の再生、制約に基づく再生、知識の抽出、およびパラメーターの正則化の方法はすべて、安定性のギャップが生じやすいことを示しています。また、安定性のギャップは、クラス、タスク、およびドメインの増分学習ベンチマークで観察できます。さらに、制御された実験では、タスクがより異なる場合に安定性のギャップが増加することが示されています。最後に、勾配を可塑性と安定性のコンポーネントに解きほぐすことにより、安定性のギャップの概念的な説明を提案します。
Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.
updated: Thu Mar 30 2023 19:44:21 GMT+0000 (UTC)
published: Thu May 26 2022 15:56:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト