広範な研究により、クラスインクリメンタル学習(Class-IL)にディープニューラルネットワーク(DNN)が適用されています。 DNNの構成要素として、バッチ正規化(BN)は中間特徴マップを標準化し、トレーニングの安定性と収束を改善するために広く検証されています。ただし、Class-ILモデルで標準BNを直接使用すると、表現学習と分類器トレーニングの両方に有害であり、壊滅的な忘却が悪化すると主張します。この論文では、そのようなBNのジレンマを説明することにより、クラスILモデルに対するBNの影響を調査します。さらに、分類バイアスを排除しながら、より優れた特徴抽出器をトレーニングすることで問題に対処するためのBNTricksを提案します。追加のハイパーパラメータを使用せずに、BNトリックを3つのベースラインリハーサルベースのメソッド、ER、DER ++、およびiCaRLに適用します。 Seq-CIFAR-10、Seq-CIFAR-100、およびSeq-Tiny-ImageNetのベンチマークデータセットで実施された包括的な実験を通じて、BNトリックが採用されたすべてのベースラインに大幅なパフォーマンスの向上をもたらし、この研究ラインに沿った潜在的な一般性を明らかにできることを示します。
Extensive researches have applied deep neural networks (DNNs) in class incremental learning (Class-IL). As building blocks of DNNs, batch normalization (BN) standardizes intermediate feature maps and has been widely validated to improve training stability and convergence. However, we claim that the direct use of standard BN in Class-IL models is harmful to both the representation learning and the classifier training, thus exacerbating catastrophic forgetting. In this paper we investigate the influence of BN on Class-IL models by illustrating such BN dilemma. We further propose BN Tricks to address the issue by training a better feature extractor while eliminating classification bias. Without inviting extra hyperparameters, we apply BN Tricks to three baseline rehearsal-based methods, ER, DER++ and iCaRL. Through comprehensive experiments conducted on benchmark datasets of Seq-CIFAR-10, Seq-CIFAR-100 and Seq-Tiny-ImageNet, we show that BN Tricks can bring significant performance gains to all adopted baselines, revealing its potential generality along this line of research.