arXiv reaDer
Lifelong Machine Learning with Deep Streaming Linear Discriminant Analysis
 エージェントが新しい情報を取得すると、理想的にはその情報をすぐに使用して環境を理解できるようになります。これは、既存のディープニューラルネットワークでは不可能です。既存のディープニューラルネットワークでは、既存の表現を上書きする新しい知識により、インクリメンタルに更新されると壊滅的な忘却が生じます。モデルが一連のラベル付きサンプルの大規模なコレクションから学習するインクリメンタルバッチ学習シナリオで、壊滅的な忘却を軽減しようとするさまざまなアプローチが開発されています。ただし、この設定では、バッチが蓄積された後にのみ推論が可能になるため、多くのアプリケーションが禁止されます。別のパラダイムは、リソースに制約のある予算でのトレーニングデータセットの1回のパスでのオンライン学習です。これは、ストリーミング学習と呼ばれます。ストリーミングラーニングは、ディープラーニングコミュニティではあまり研究されていません。ストリーミング学習では、エージェントはインスタンスを1つずつ学習し、大規模なバッチを学習した後だけでなく、いつでもテストできます。ここでは、データマイニング研究コミュニティで広く使用されているストリーミング線形判別分析を再検討します。ストリーミング線形判別分析とディープラーニングを組み合わせることにより、インクリメンタルバッチ学習とストリーミング学習アルゴリズムの両方を、ImageNet ILSVRC-2012とCORe50(時間的に順序付けられたサンプルから分類する学習を含むデータセット)の両方を上回ることができます。
When an agent acquires new information, ideally it would immediately be capable of using that information to understand its environment. This is not possible using conventional deep neural networks, which suffer from catastrophic forgetting when they are incrementally updated, with new knowledge overwriting established representations. A variety of approaches have been developed that attempt to mitigate catastrophic forgetting in the incremental batch learning scenario, where a model learns from a series of large collections of labeled samples. However, in this setting, inference is only possible after a batch has been accumulated, which prohibits many applications. An alternative paradigm is online learning in a single pass through the training dataset on a resource constrained budget, which is known as streaming learning. Streaming learning has been much less studied in the deep learning community. In streaming learning, an agent learns instances one-by-one and can be tested at any time, rather than only after learning a large batch. Here, we revisit streaming linear discriminant analysis, which has been widely used in the data mining research community. By combining streaming linear discriminant analysis with deep learning, we are able to outperform both incremental batch learning and streaming learning algorithms on both ImageNet ILSVRC-2012 and CORe50, a dataset that involves learning to classify from temporally ordered samples.
updated: Fri Apr 17 2020 16:28:51 GMT+0000 (UTC)
published: Wed Sep 04 2019 02:13:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト