arXiv reaDer
Learning to Remember: A Synaptic Plasticity Driven Framework for Continual Learning
 継続的学習(CL)のコンテキストでトレーニングされたモデルは、未定義の期間にわたってデータのストリームから学習できる必要があります。ここでの主な課題は、1)古い知識を維持すると同時に、新しいタスクを学習する際にそれから利益を得ること、および2)学習するデータ量が増えてモデルのスケーラビリティを保証することです。これらの課題に取り組むために、継続的な学習のためのシナプス可塑性駆動型フレームワークである動的生成記憶(DGM)を導入します。 DGMは、ニューラルマスキングで実現される学習可能な接続の可塑性を備えた条件付きの生成的敵対ネットワークに依存しています。具体的には、ニューラルマスキングの2つのバリアントを評価します。(i)レイヤーのアクティブ化と(ii)接続の重みに直接適用されます。さらに、継続的な着信タスクに対応するのに十分なモデル容量を確保する動的なネットワーク拡張メカニズムを提案します。追加された容量は、学習したバイナリマスクから動的に決定されます。視覚的な分類タスクに関する継続的なクラスインクリメンタルセットアップでDGMを評価します。
Models trained in the context of continual learning (CL) should be able to learn from a stream of data over an undefined period of time. The main challenges herein are: 1) maintaining old knowledge while simultaneously benefiting from it when learning new tasks, and 2) guaranteeing model scalability with a growing amount of data to learn from. In order to tackle these challenges, we introduce Dynamic Generative Memory (DGM) - a synaptic plasticity driven framework for continual learning. DGM relies on conditional generative adversarial networks with learnable connection plasticity realized with neural masking. Specifically, we evaluate two variants of neural masking: applied to (i) layer activations and (ii) to connection weights directly. Furthermore, we propose a dynamic network expansion mechanism that ensures sufficient model capacity to accommodate for continually incoming tasks. The amount of added capacity is determined dynamically from the learned binary mask. We evaluate DGM in the continual class-incremental setup on visual classification tasks.
updated: Mon Dec 02 2019 14:46:07 GMT+0000 (UTC)
published: Fri Apr 05 2019 16:02:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト