arXiv reaDer
デュアルティーチャークラス-データフリーのジェネレーティブリプレイによるインクリメンタル学習
Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay
この論文は、クラスインクリメンタル学習(CIL)のための2つの新しい知識伝達技術を提案します。まず、生成モデルからの合成サンプルを使用して、CILでの壊滅的な忘却を軽減するためのデータフリー生成再生(DF-GR)を提案します。従来の生成的再生では、生成的モデルは古いデータ用に事前にトレーニングされ、後の増分学習のために追加のメモリで共有されます。提案するDF-GRでは、過去の事前トレーニング済み分類モデルに基づいて、トレーニングデータを使用せずに生成モデルを最初からトレーニングするため、事前トレーニング済みの生成モデルを共有するコストを削減します。次に、2人の教師から1人の生徒への知識蒸留のためのデュアルティーチャー情報蒸留(DT-ID)を紹介します。 CILでは、DT-IDを使用して、古いクラスの事前トレーニング済みモデルと新しいクラスの新しいデータで(事前)トレーニングされた別のモデルに基づいて、新しいクラスを段階的に学習します。提案されたスキームを最先端のCILメソッドの1つに実装し、CIFAR-100およびImageNetデータセットのパフォーマンスが向上することを示しました。
This paper proposes two novel knowledge transfer techniques for class-incremental learning (CIL). First, we propose data-free generative replay (DF-GR) to mitigate catastrophic forgetting in CIL by using synthetic samples from a generative model. In the conventional generative replay, the generative model is pre-trained for old data and shared in extra memory for later incremental learning. In our proposed DF-GR, we train a generative model from scratch without using any training data, based on the pre-trained classification model from the past, so we curtail the cost of sharing pre-trained generative models. Second, we introduce dual-teacher information distillation (DT-ID) for knowledge distillation from two teachers to one student. In CIL, we use DT-ID to learn new classes incrementally based on the pre-trained model for old classes and another model (pre-)trained on the new data for new classes. We implemented the proposed schemes on top of one of the state-of-the-art CIL methods and showed the performance improvement on CIFAR-100 and ImageNet datasets.
updated: Thu Jun 17 2021 22:13:15 GMT+0000 (UTC)
published: Thu Jun 17 2021 22:13:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト