arXiv reaDer
Class-incremental Learning via Deep Model Consolidation
 ディープニューラルネットワーク(DNN)は、インクリメンタル学習(IL)中に「破滅的な忘却」に苦しむことがよくあります。トレーニング目標が新しく追加されたクラスセットに適応されると、元のクラスセットのパフォーマンスが急激に低下します。既存のILアプローチは、古いデータの例の助けを借りない限り、古いクラスまたは新しいクラスのいずれかに偏るモデルを作成する傾向があります。この問題に対処するために、Deep Model Consolidation(DMC)と呼ばれるクラス増分学習パラダイムを提案します。これは、元のトレーニングデータが利用できない場合でもうまく機能します。アイデアは、最初に新しいクラスに対してのみ個別のモデルをトレーニングし、次に新しい二重蒸留トレーニング目標を介して2つの異なるクラスセット(古いクラスと新しいクラス)のデータでトレーニングされた2つの個々のモデルを結合することです。 2つの既存のモデルは、公開されているラベルなしの補助データを活用して統合されています。これにより、元のトレーニングデータが利用できないために発生する可能性のある問題が克服されます。最先端の技術と比較して、DMCは、シングルヘッドIL設定での画像分類(CIFAR-100およびCUB-200)およびオブジェクト検出(PASCAL VOC 2007)のパフォーマンスが大幅に向上しています。
Deep neural networks (DNNs) often suffer from "catastrophic forgetting" during incremental learning (IL) --- an abrupt degradation of performance on the original set of classes when the training objective is adapted to a newly added set of classes. Existing IL approaches tend to produce a model that is biased towards either the old classes or new classes, unless with the help of exemplars of the old data. To address this issue, we propose a class-incremental learning paradigm called Deep Model Consolidation (DMC), which works well even when the original training data is not available. The idea is to first train a separate model only for the new classes, and then combine the two individual models trained on data of two distinct set of classes (old classes and new classes) via a novel double distillation training objective. The two existing models are consolidated by exploiting publicly available unlabeled auxiliary data. This overcomes the potential difficulties due to the unavailability of original training data. Compared to the state-of-the-art techniques, DMC demonstrates significantly better performance in image classification (CIFAR-100 and CUB-200) and object detection (PASCAL VOC 2007) in the single-headed IL setting.
updated: Thu Jan 16 2020 02:21:49 GMT+0000 (UTC)
published: Tue Mar 19 2019 07:20:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト