arXiv reaDer
A continual learning survey: Defying forgetting in classification tasks
 人工ニューラルネットワークは、特定の厳密なタスクの分類問題を解決し、異なるトレーニングフェーズから一般化された学習動作を通じて知識を獲得することで成長します。結果として得られるネットワークは、静的な知識の実体に似ており、元のタスクをターゲットにせずにこの知識を拡張して、壊滅的な忘却をもたらす努力をしています。継続的な学習により、このパラダイムはネットワークに移行し、ゼロから再トレーニングする必要なく、さまざまなタスクに関する知識を継続的に蓄積できます。私たちは、タスクが順次到着し、明確な境界によって線引きされるタスクの増分分類に焦点を当てています。私たちの主な貢献は、1)分類法と最先端の広範な概要、2)継続的な学習者の安定性と可塑性のトレードオフを継続的に決定するための新しいフレームワーク、3)11の状態の包括的な実験的比較に関係しています。最先端の継続的な学習方法と4つのベースライン。 Tiny Imagenetと大規模な不均衡なiNaturalistおよび一連の認識データセットを考慮して、3つのベンチマークでメソッドの長所と短所を経験的に精査します。モデル容量の影響、重みの減衰とドロップアウトの正則化、およびタスクが提示される順序を調査し、必要なメモリ、計算時間、およびストレージの観点からメソッドを定性的に比較します。
Artificial neural networks thrive in solving the classification problem for a particular rigid task, acquiring knowledge through generalized learning behaviour from a distinct training phase. The resulting network resembles a static entity of knowledge, with endeavours to extend this knowledge without targeting the original task resulting in a catastrophic forgetting. Continual learning shifts this paradigm towards networks that can continually accumulate knowledge over different tasks without the need to retrain from scratch. We focus on task incremental classification, where tasks arrive sequentially and are delineated by clear boundaries. Our main contributions concern 1) a taxonomy and extensive overview of the state-of-the-art, 2) a novel framework to continually determine the stability-plasticity trade-off of the continual learner, 3) a comprehensive experimental comparison of 11 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize method strengths and weaknesses on three benchmarks, considering Tiny Imagenet and large-scale unbalanced iNaturalist and a sequence of recognition datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time, and storage.
updated: Fri Apr 16 2021 17:53:39 GMT+0000 (UTC)
published: Wed Sep 18 2019 12:07:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト