新しいクラスで段階的にトレーニングされると、深いニューラルネットワークは壊滅的な忘却の影響を受けやすくなり、新しいクラスを学習している間、古いクラスでのパフォーマンスが極端に低下します。過去のクラスからのサンプルをほとんど含まない小さなメモリを使用することは、壊滅的な忘却を軽減するための効果的な方法であることが示されています。ただし、再生メモリのサイズが限られているため、トレーニングデータセットの新しいクラスと古いクラスのサンプル数の間に大きな不均衡があり、最終モデルに偏りが生じます。この問題に対処するために、Balanced Softmax Cross-Entropyを使用することを提案し、クラスインクリメンタル学習の最先端のアプローチとシームレスに組み合わせて、精度を向上させると同時に計算コストを削減できることを示します。トレーニング手順の。さらに、このアプローチを、メモリ設定なしのより要求の厳しいクラス増分学習に拡張し、メモリベースのアプローチで競争力のある結果を達成します。さまざまな設定を使用した、やりがいのあるImageNet、ImageNet-Subset、およびCIFAR100ベンチマークの実験は、私たちのアプローチの利点を示しています。
When incrementally trained on new classes, deep neural networks are subject to catastrophic forgetting which leads to an extreme deterioration of their performance on the old classes while learning the new ones. Using a small memory containing few samples from past classes has shown to be an effective method to mitigate catastrophic forgetting. However, due to the limited size of the replay memory, there is a large imbalance between the number of samples for the new and the old classes in the training dataset resulting in bias in the final model. To address this issue, we propose to use the Balanced Softmax Cross-Entropy and show that it can be seamlessly combined with state-of-the-art approaches for class-incremental learning in order to improve their accuracy while also potentially decreasing the computational cost of the training procedure. We further extend this approach to the more demanding class-incremental learning without memory setting and achieve competitive results with memory-based approaches. Experiments on the challenging ImageNet, ImageNet-Subset and CIFAR100 benchmarks with various settings demonstrate the benefits of our approach.