Multi-Class Incremental Learning(MCIL)は、以前の概念でトレーニングされたモデルを段階的に更新することで、新しい概念を学習することを目的としています。ただし、以前の概念を壊滅的に忘れることなく新しい概念を効果的に学習することには、固有のトレードオフがあります。この問題を軽減するために、以前の概念のいくつかの例を維持することが提案されていますが、このアプローチの有効性はこれらの例の代表性に大きく依存します。このペーパーでは、ニーモニックと呼ばれる新しい自動フレームワークを提案します。ここでは、手本をパラメーター化し、エンドツーエンドで最適化できるようにします。私たちは、モデルレベルとエグザンプラレベルなどのバイレベルの最適化を通じてフレームワークをトレーニングします。 3つのMCILベンチマーク、CIFAR-100、ImageNet-Subset、およびImageNetで広範な実験を実施し、ニーモニックイグザンプラを使用すると、最新の技術を大幅に上回ることができることを示しています。興味深いことに、非常に興味深いことに、ニーモニックの見本は異なるクラス間の境界にある傾向があります。
Multi-Class Incremental Learning (MCIL) aims to learn new concepts by incrementally updating a model trained on previous concepts. However, there is an inherent trade-off to effectively learning new concepts without catastrophic forgetting of previous ones. To alleviate this issue, it has been proposed to keep around a few examples of the previous concepts but the effectiveness of this approach heavily depends on the representativeness of these examples. This paper proposes a novel and automatic framework we call mnemonics, where we parameterize exemplars and make them optimizable in an end-to-end manner. We train the framework through bilevel optimizations, i.e., model-level and exemplar-level. We conduct extensive experiments on three MCIL benchmarks, CIFAR-100, ImageNet-Subset and ImageNet, and show that using mnemonics exemplars can surpass the state-of-the-art by a large margin. Interestingly and quite intriguingly, the mnemonics exemplars tend to be on the boundaries between different classes.