この研究では、増分設定で複数のオブジェクト クラスの構造化メモリを学習するための最小限の計算モデルを提案します。私たちのアプローチは、低次元特徴空間におけるクラスと、線形識別表現として知られる対応する部分空間のセットとの間の閉ループ転写を確立することに基づいています。私たちの方法は、増分学習の既存のアプローチよりもシンプルで、モデルのサイズ、ストレージ、計算の点でより効率的です。必要なのは、識別と生成の両方の目的で使用される特徴空間を持つ、単一の固定容量の自動エンコーディング ネットワークだけです。ネットワーク パラメータは、単一のレート削減ベースの目標に基づいて、エンコード マップとデコード マップ間の制約付きミニマックス ゲームを解くことにより、アーキテクチャ上の操作を行わずに同時に最適化されます。実験結果は、私たちの方法が壊滅的な忘却を効果的に軽減し、必要なリソースが少ないにもかかわらず、MNIST、CIFAR-10、およびImageNet-50での生成再生の以前の作業よりも大幅に優れたパフォーマンスを達成できることを示しています。ソースコードはhttps://github.com/tsb0601/i-CTRLで見つけることができます。
This work proposes a minimal computational model for learning structured memories of multiple object classes in an incremental setting. Our approach is based on establishing a closed-loop transcription between the classes and a corresponding set of subspaces, known as a linear discriminative representation, in a low-dimensional feature space. Our method is simpler than existing approaches for incremental learning, and more efficient in terms of model size, storage, and computation: it requires only a single, fixed-capacity autoencoding network with a feature space that is used for both discriminative and generative purposes. Network parameters are optimized simultaneously without architectural manipulations, by solving a constrained minimax game between the encoding and decoding maps over a single rate reduction-based objective. Experimental results show that our method can effectively alleviate catastrophic forgetting, achieving significantly better performance than prior work of generative replay on MNIST, CIFAR-10, and ImageNet-50, despite requiring fewer resources. Source code can be found at https://github.com/tsb0601/i-CTRL