arXiv reaDer
Adversarial Feature Alignment: Avoid Catastrophic Forgetting in Incremental Task Lifelong Learning
  人間は、継続的な学習により、さまざまな知識とスキルを習得することができます。対照的に、既存のニューラルネットワークモデルに新しいタスクを追加すると、劇的なパフォーマンスの低下が観察されます。 \ emph {Catastrophic Forgettingと呼ばれるこの現象は、ディープニューラルネットワークによる人間レベルの人工知能の達成を妨げる主要な障害の1つです。いくつかの研究努力、例えばこの問題に取り組むために、\ emph {生涯学習または\ emph {継続的な学習アルゴリズムが提案されています。ただし、タスクシーケンスが長くなるにつれてパフォーマンスが累積的に低下するか、履歴メモリー用に過剰な量のモデルパラメーターを保存する必要があるか、新しいタスクで競争力のあるパフォーマンスを得ることができません。このホワイトペーパーでは、増分マルチタスク画像分類シナリオに焦点を当てます。通常は複雑なタスクをより簡単な目標に分解する人間の学生の学習プロセスに触発され、壊滅的な忘却を回避するための敵対的な特徴の整列方法を提案します。私たちの設計では、低レベルの視覚的機能と高レベルのセマンティック機能の両方がソフトターゲットとして機能し、複数の段階でトレーニングプロセスをガイドします。これにより、古いタスクの十分な監視情報が提供され、忘却が軽減されます。知識の蒸留と正則化現象により、提案された方法は、新しいタスクの微調整よりも優れたパフォーマンスを獲得し、他の方法よりも際立っています。いくつかの典型的な生涯学習シナリオでの広範な実験は、新しいタスクの精度と古いタスクのパフォーマンス維持の両方で、この方法が最先端の方法より優れていることを示しています。
Human beings are able to master a variety of knowledge and skills with ongoing learning. By contrast, dramatic performance degradation is observed when new tasks are added to an existing neural network model. This phenomenon, termed as \emph{Catastrophic Forgetting, is one of the major roadblocks that prevent deep neural networks from achieving human-level artificial intelligence. Several research efforts, e.g. \emph{Lifelong or \emph{Continual learning algorithms, have been proposed to tackle this problem. However, they either suffer from an accumulating drop in performance as the task sequence grows longer, or require to store an excessive amount of model parameters for historical memory, or cannot obtain competitive performance on the new tasks. In this paper, we focus on the incremental multi-task image classification scenario. Inspired by the learning process of human students, where they usually decompose complex tasks into easier goals, we propose an adversarial feature alignment method to avoid catastrophic forgetting. In our design, both the low-level visual features and high-level semantic features serve as soft targets and guide the training process in multiple stages, which provide sufficient supervised information of the old tasks and help to reduce forgetting. Due to the knowledge distillation and regularization phenomenons, the proposed method gains even better performance than finetuning on the new tasks, which makes it stand out from other methods. Extensive experiments in several typical lifelong learning scenarios demonstrate that our method outperforms the state-of-the-art methods in both accuracies on new tasks and performance preservation on old tasks.
updated: Thu Oct 24 2019 09:23:02 GMT+0000 (UTC)
published: Thu Oct 24 2019 09:23:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト