Class-Incremental Learning (CIL) [40] は、厳密なメモリ バジェットの下で分類子をトレーニングします。各増分フェーズでは、新しいデータの学習が行われ、そのほとんどは次のフェーズのためにスペースを解放するために放棄されます。保存されたデータは、再生に使用される見本です。ただし、既存の方法では、メモリ割り当てに静的でアドホックな戦略が使用されており、最適ではないことがよくあります。この作業では、インクリメンタル フェーズとさまざまなオブジェクト クラスに最適化された動的メモリ管理戦略を提案します。私たちは、強化学習を活用する方法を強化メモリ管理 (RMM) と呼んでいます。 RMM トレーニングは、過去のように CIL と自然に互換性がありません。将来のデータは、増分段階では厳密にアクセスできません。これを解決するには、RMM のポリシー関数を疑似 CIL タスク (たとえば、0 番目のフェーズのデータに基づいて構築されたタスク) でトレーニングし、それをターゲット タスクに適用します。 RMM は 2 つのレベルのアクションを伝達します。レベル 1 は古いクラスと新しいクラスの間でメモリを分割する方法を決定し、レベル 2 は特定のクラスごとにメモリを割り当てます。本質的に、これは、再生ベースの CIL メソッドで使用できるメモリ管理のための最適化可能な一般的な方法です。評価のために、RMM を 2 つの最高性能のベースライン (LUCIR+AANets および POD+AANets [30]) にプラグインし、3 つのベンチマーク (CIFAR-100、ImageNet-Subset、および ImageNet-Full) で実験を行います。私たちの結果は、上記のベンチマークの 25 フェーズ設定で POD+AANets をそれぞれ 3.6%、4.4%、1.9% ブーストするなど、明らかな改善を示しています。
Class-Incremental Learning (CIL) [40] trains classifiers under a strict memory budget: in each incremental phase, learning is done for new data, most of which is abandoned to free space for the next phase. The preserved data are exemplars used for replaying. However, existing methods use a static and ad hoc strategy for memory allocation, which is often sub-optimal. In this work, we propose a dynamic memory management strategy that is optimized for the incremental phases and different object classes. We call our method reinforced memory management (RMM), leveraging reinforcement learning. RMM training is not naturally compatible with CIL as the past, and future data are strictly non-accessible during the incremental phases. We solve this by training the policy function of RMM on pseudo CIL tasks, e.g., the tasks built on the data of the 0-th phase, and then applying it to target tasks. RMM propagates two levels of actions: Level-1 determines how to split the memory between old and new classes, and Level-2 allocates memory for each specific class. In essence, it is an optimizable and general method for memory management that can be used in any replaying-based CIL method. For evaluation, we plug RMM into two top-performing baselines (LUCIR+AANets and POD+AANets [30]) and conduct experiments on three benchmarks (CIFAR-100, ImageNet-Subset, and ImageNet-Full). Our results show clear improvements, e.g., boosting POD+AANets by 3.6%, 4.4%, and 1.9% in the 25-Phase settings of the above benchmarks, respectively.