人工学習システムは、過去の知識を忘れることなく一連のタスクから継続的に学習することにより、人間の知性を模倣することを目指しています。このような学習を可能にする1つの方法は、過去の経験を入力例の形でエピソード記憶に保存し、新しいタスクを学習するときにそれらを再生することです。ただし、このような方法のパフォーマンスは、メモリのサイズが小さくなるにつれて低下します。本論文では、モデルの決定を視覚的に説明する顕著性マップを見て、過去の経験を選択する、経験再生の新しいアプローチを提案します。これらの顕著性マップに基づいて、モデルの予測に重要な入力画像のパーツまたはパッチのみをメモリにパックします。新しいタスクを学習している間、適切なゼロパディングを使用してこれらのメモリパッチを再生し、モデルに過去の決定を思い出させます。さまざまな画像分類データセットでアルゴリズムを評価し、最先端のアプローチよりも優れたパフォーマンスを報告します。定性的および定量的分析により、私たちの方法は、記憶を増やすことなく過去の経験のより豊富な要約をキャプチャし、したがって、小さなエピソード記憶でうまく機能することを示しています。
Artificial learning systems aspire to mimic human intelligence by continually learning from a stream of tasks without forgetting past knowledge. One way to enable such learning is to store past experiences in the form of input examples in episodic memory and replay them when learning new tasks. However, performance of such method suffers as the size of the memory becomes smaller. In this paper, we propose a new approach for experience replay, where we select the past experiences by looking at the saliency maps which provide visual explanations for the model's decision. Guided by these saliency maps, we pack the memory with only the parts or patches of the input images important for the model's prediction. While learning a new task, we replay these memory patches with appropriate zero-padding to remind the model about its past decisions. We evaluate our algorithm on diverse image classification datasets and report better performance than the state-of-the-art approaches. With qualitative and quantitative analyses we show that our method captures richer summary of past experiences without any memory increase, and hence performs well with small episodic memory.