人工学習システムは、過去の知識を忘れることなく一連のタスクから継続的に学習することにより、人間の知性を模倣することを目指しています。このような学習を可能にする 1 つの方法は、過去の経験を入力例の形でエピソード記憶に保存し、新しいタスクを学習するときにそれらを再生することです。しかしながら、そのような方法の性能は、メモリのサイズが小さくなるにつれて低下する。この論文では、経験リプレイの新しいアプローチを提案します。ここでは、モデルの決定を視覚的に説明する顕著性マップを見て、過去の経験を選択します。これらの顕著性マップに基づいて、モデルの予測にとって重要な入力画像の部分またはパッチのみをメモリにパックします。新しいタスクを学習している間、適切なゼロ パディングを使用してこれらのメモリ パッチを再生し、過去の決定をモデルに思い出させます。 CIFAR-100、miniImageNet、および CUB データセットでアルゴリズムを評価し、最先端のアプローチよりも優れたパフォーマンスを報告します。質的および量的分析により、私たちの方法が記憶を増加させることなく過去の経験のより豊富な要約をキャプチャし、したがって小さなエピソード記憶でうまく機能することを示します。
Artificial learning systems aspire to mimic human intelligence by continually learning from a stream of tasks without forgetting past knowledge. One way to enable such learning is to store past experiences in the form of input examples in episodic memory and replay them when learning new tasks. However, performance of such method suffers as the size of the memory becomes smaller. In this paper, we propose a new approach for experience replay, where we select the past experiences by looking at the saliency maps which provide visual explanations for the model's decision. Guided by these saliency maps, we pack the memory with only the parts or patches of the input images important for the model's prediction. While learning a new task, we replay these memory patches with appropriate zero-padding to remind the model about its past decisions. We evaluate our algorithm on CIFAR-100, miniImageNet and CUB datasets and report better performance than the state-of-the-art approaches. With qualitative and quantitative analyses we show that our method captures richer summaries of past experiences without any memory increase, and hence performs well with small episodic memory.