生涯学習 (LL) は、データ ソースが継続的に進化するにつれて、予測モデルを改善することを目的としています。この学習パラダイムのほとんどの作業は、「壊滅的な忘却」の問題を解決することに焦点を当ててきました。これは、新しいデータよりもモデルの精度を向上させることと、以前のデータよりも精度を維持することの間の悪名高いジレンマを指します。しかし、機械学習 (ML) モデルは、わずかな敵対的な入力摂動がモデルを欺いて誤った予測を生成する可能性があるという意味で脆弱である可能性があることも知られています。これは、この論文の研究目的である壊滅的な忘却から (敵対的な攻撃に対する) モデルのロバスト性を救うことができる新しい LL フレームワークの仕様を動機付けます。具体的には、最新のバイレベル最適化手法を活用して現在のデータの「コアセット」(つまり、記憶する少量のデータ) を決定する新しいメモリ リプレイ LL 戦略を提案します。得られた LL フレームワークを「Data-Efficient Robustness-Preserving LL」(DERPLL) と呼びます。 CIFAR-10 データセットで ResNet-18 を使用したクラス増分画像分類について、DERPLL の有効性が評価されます。実験結果は、DERPLL が従来のコアセット ガイド付き LL ベースラインよりも優れており、標準精度とロバスト精度の両方で大幅な改善を達成することを示しています。
Lifelong learning (LL) aims to improve a predictive model as the data source evolves continuously. Most work in this learning paradigm has focused on resolving the problem of 'catastrophic forgetting,' which refers to a notorious dilemma between improving model accuracy over new data and retaining accuracy over previous data. Yet, it is also known that machine learning (ML) models can be vulnerable in the sense that tiny, adversarial input perturbations can deceive the models into producing erroneous predictions. This motivates the research objective of this paper - specification of a new LL framework that can salvage model robustness (against adversarial attacks) from catastrophic forgetting. Specifically, we propose a new memory-replay LL strategy that leverages modern bi-level optimization techniques to determine the 'coreset' of the current data (i.e., a small amount of data to be memorized) for ease of preserving adversarial robustness over time. We term the resulting LL framework 'Data-Efficient Robustness-Preserving LL' (DERPLL). The effectiveness of DERPLL is evaluated for class-incremental image classification using ResNet-18 over the CIFAR-10 dataset. Experimental results show that DERPLL outperforms the conventional coreset-guided LL baseline and achieves a substantial improvement in both standard accuracy and robust accuracy.