arXiv reaDer
Uncertainty-guided Continual Learning with Bayesian Neural Networks
 継続学習は、以前に学習したタスクを忘れずに新しいタスクを学習することを目的としています。これは、前のタスクのデータにアクセスできない場合、およびモデルの容量が固定されている場合に特に困難です。現在の正則化ベースの継続学習アルゴリズムでは、パラメーターの重要性を測定するために外部表現と追加の計算が必要です。対照的に、学習率がネットワークの重みの確率分布で定義された不確実性に従って適応する不確実性ガイド付き連続ベイジアンニューラルネットワーク(UCB)を提案します。不確実性は、私たちが継続的に学習する際に、何を覚え、何を変えるべきかを識別する自然な方法であり、壊滅的な忘却を軽減します。また、ウェイトプルーニングの不確実性を使用し、タスクごとにバイナリマスクを保存することにより、プルーニング後のタスクパフォーマンスを保持するモデルのバリアントも示します。 UCBアプローチは、タスクの短いシーケンスと長いシーケンスを持つ多様なオブジェクト分類データセットで広範囲に評価し、既存のアプローチと比較して優れたまたは同等のパフォーマンスを報告します。さらに、モデルはテスト時に必ずしもタスク情報を必要としない、つまり、サンプルがどのタスクに属しているのかを推定するものではないことを示します。
Continual learning aims to learn new tasks without forgetting previously learned ones. This is especially challenging when one cannot access data from previous tasks and when the model has a fixed capacity. Current regularization-based continual learning algorithms need an external representation and extra computation to measure the parameters' importance. In contrast, we propose Uncertainty-guided Continual Bayesian Neural Networks (UCB), where the learning rate adapts according to the uncertainty defined in the probability distribution of the weights in networks. Uncertainty is a natural way to identify what to remember and what to change as we continually learn, and thus mitigate catastrophic forgetting. We also show a variant of our model, which uses uncertainty for weight pruning and retains task performance after pruning by saving binary masks per tasks. We evaluate our UCB approach extensively on diverse object classification datasets with short and long sequences of tasks and report superior or on-par performance compared to existing approaches. Additionally, we show that our model does not necessarily need task information at test time, i.e. it does not presume knowledge of which task a sample belongs to.
updated: Thu Feb 20 2020 01:08:22 GMT+0000 (UTC)
published: Thu Jun 06 2019 05:40:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト