arXiv reaDer
Continual Unsupervised Representation Learning
 継続的な学習は、通常、一連のタスクを順番に学習しようとすることにより、非定常分布に対処する現代の学習システムの能力を向上させることを目的としています。この分野の先行技術は、主に教師あり学習タスクまたは強化学習タスクを考慮しており、多くの場合、タスクのラベルと境界の完全な知識を前提としています。この作業では、教師なし継続学習と呼ばれるより一般的な問題に取り組むアプローチ(CURL)を提案します。タスクのアイデンティティに関する知識がなくても表現を学習することに焦点が当てられており、タスク間で急激な変化がある場合、あるタスクから別のタスクへのスムーズな移行がある場合、またはデータがシャッフルされている場合でもシナリオを検討します。提案されたアプローチは、モデル内でタスク推論を直接実行し、そのライフタイムにわたって新しい概念をキャプチャするために動的に拡張することができ、壊滅的な忘却に対処するための追加のリハーサルベースの技術を組み込みます。 MNISTおよびOmniglotを使用した教師なし学習設定でCURLの有効性を実証します。ラベルがないため、タスクに関する情報が漏洩することはありません。さらに、i.i.dの設定で、またはインクリメンタルクラス学習などの監視されたタスクに手法を適応させる場合、従来技術と比較して強力なパフォーマンスを示します。
Continual learning aims to improve the ability of modern learning systems to deal with non-stationary distributions, typically by attempting to learn a series of tasks sequentially. Prior art in the field has largely considered supervised or reinforcement learning tasks, and often assumes full knowledge of task labels and boundaries. In this work, we propose an approach (CURL) to tackle a more general problem that we will refer to as unsupervised continual learning. The focus is on learning representations without any knowledge about task identity, and we explore scenarios when there are abrupt changes between tasks, smooth transitions from one task to another, or even when the data is shuffled. The proposed approach performs task inference directly within the model, is able to dynamically expand to capture new concepts over its lifetime, and incorporates additional rehearsal-based techniques to deal with catastrophic forgetting. We demonstrate the efficacy of CURL in an unsupervised learning setting with MNIST and Omniglot, where the lack of labels ensures no information is leaked about the task. Further, we demonstrate strong performance compared to prior art in an i.i.d setting, or when adapting the technique to supervised tasks such as incremental class learning.
updated: Thu Oct 31 2019 14:18:45 GMT+0000 (UTC)
published: Thu Oct 31 2019 14:18:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト