ニューラルネットワークは壊滅的な忘却の影響を受けやすいです。新しいタスクに適応するときに、以前に取得した知識を保持できません。人間の連想記憶システムに触発されて、私たちは継続的な学習を達成するために連想学習プロセスを模倣する脳のようなアプローチを提案します。モデルを強力に刺激するヒューリスティックメカニズムを設計します。これにより、モデルは、現在の状況と取得した関連付けの経験に基づいて、過去のエピソードを思い出すことができます。さらに、蒸留手段が追加されてシナプス伝達の有効性が抑制的に変化し、新しいタスクの特徴再構築学習が弱まります。フレームワークは、シナプスと行動の可塑性を指示する際に反対の役割を果たす増強とうつ病の刺激によって媒介されます。元のデータにアクセスする必要はなく、人間の認知プロセスに似ています。実験は、画像から画像への翻訳タスクでの壊滅的な忘却を軽減する上での私たちの方法の有効性を示しています。
Neural networks are susceptible to catastrophic forgetting. They fail to preserve previously acquired knowledge when adapting to new tasks. Inspired by human associative memory system, we propose a brain-like approach that imitates the associative learning process to achieve continual learning. We design a heuristics mechanism to potentiatively stimulate the model, which guides the model to recall the historical episodes based on the current circumstance and obtained association experience. Besides, a distillation measure is added to depressively alter the efficacy of synaptic transmission, which dampens the feature reconstruction learning for new task. The framework is mediated by potentiation and depression stimulation that play opposing roles in directing synaptic and behavioral plasticity. It requires no access to the original data and is more similar to human cognitive process. Experiments demonstrate the effectiveness of our method in alleviating catastrophic forgetting on image-to-image translation tasks.