arXiv reaDer
Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild
  ディープニューラルネットワークを使用した生涯学習は、壊滅的な忘却に苦しんでいることがよく知られています。新しいタスクを学習すると、以前のタスクのパフォーマンスが大幅に低下します。この影響を緩和するために、野生で簡単に入手できるラベルのないデータの大きなストリームを活用することを提案します。特に、(a)グローバル蒸留と呼ばれる新しい蒸留損失、(b)最新のタスクへの過剰適合を回避するための学習戦略、および(c)信頼度ベースのサンプリング方法を使用して、新しいクラス増分学習スキームを設計します。ラベルのない外部データを効果的に活用します。 CIFARやImageNetを含むさまざまなデータセットの実験結果は、特にラベルのないデータのストリームにアクセスできる場合、従来の方法に対する提案された方法の優位性を示しています。この方法は、最大15.8%の精度と46.5%最先端の方法。コードはで入手できます。
Lifelong learning with deep neural networks is well-known to suffer from catastrophic forgetting: the performance on previous tasks drastically degrades when learning a new task. To alleviate this effect, we propose to leverage a large stream of unlabeled data easily obtainable in the wild. In particular, we design a novel class-incremental learning scheme with (a) a new distillation loss, termed global distillation, (b) a learning strategy to avoid overfitting to the most recent task, and (c) a confidence-based sampling method to effectively leverage unlabeled external data. Our experimental results on various datasets, including CIFAR and ImageNet, demonstrate the superiority of the proposed methods over prior methods, particularly when a stream of unlabeled data is accessible: our method shows up to 15.8% higher accuracy and 46.5% less forgetting compared to the state-of-the-art method. The code is available at
updated: Sat Oct 26 2019 17:17:50 GMT+0000 (UTC)
published: Fri Mar 29 2019 17:48:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト