arXiv reaDer
PlaStIL: 可塑的で安定したメモリフリーのクラス増分学習
PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning
過去の知識を保持しながら新しいデータから学習するために、クラス増分学習には可塑性と安定性が必要です。壊滅的な忘却のため、メモリ バッファーが使用できない場合、これら 2 つの特性の間で妥協点を見つけることは特に困難です。主流のメソッドは、以前の増分状態からの知識の蒸留による微調整を使用して新しいクラスを統合するため、2 つのディープ モデルを保存する必要があります。可塑性と安定性の間のより良いバランスを見つけるために、同様の数のパラメータを持ちますが、それらを異なる方法で配分する方法を提案します。転送ベースの増分手法によってすでに展開されているアプローチに従って、初期状態の後に特徴抽出器をフリーズします。最も古い増分状態のクラスは、安定性を確保するためにこの凍結エクストラクターを使用してトレーニングされます。最近のクラスは、可塑性を導入するために部分的に微調整されたモデルを使用して予測されます。私たちが提案する可塑性レイヤーは、見本なしの増分学習用に設計されたあらゆる転移ベースの手法に組み込むことができ、そのような 2 つの手法に適用します。評価は 3 つの大規模なデータセットを使用して行われます。結果は、既存の方法と比較して、テストされたすべての構成でパフォーマンスの向上が得られることを示しています。
Plasticity and stability are needed in class-incremental learning in order to learn from new data while preserving past knowledge. Due to catastrophic forgetting, finding a compromise between these two properties is particularly challenging when no memory buffer is available. Mainstream methods need to store two deep models since they integrate new classes using fine-tuning with knowledge distillation from the previous incremental state. We propose a method which has similar number of parameters but distributes them differently in order to find a better balance between plasticity and stability. Following an approach already deployed by transfer-based incremental methods, we freeze the feature extractor after the initial state. Classes in the oldest incremental states are trained with this frozen extractor to ensure stability. Recent classes are predicted using partially fine-tuned models in order to introduce plasticity. Our proposed plasticity layer can be incorporated to any transfer-based method designed for exemplar-free incremental learning, and we apply it to two such methods. Evaluation is done with three large-scale datasets. Results show that performance gains are obtained in all tested configurations compared to existing methods.
updated: Tue Jul 04 2023 09:48:35 GMT+0000 (UTC)
published: Wed Sep 14 2022 12:53:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト