ディープニューラルネットワーク(DNN)は、最近、コンピュータービジョンおよびいくつかの関連分野で大きな成功を収めています。そのような進歩にもかかわらず、現在の神経構造は、DNNが継続的に学習することを妨げる壊滅的な干渉(別名忘却)に依然として苦しんでいます。忘却を軽減するためにいくつかの最先端の方法が提案されていますが、これらの既存のソリューションは、非常に厳格(正則化として)または時間/メモリ要求(再生として)のいずれかです。動的ネットワークに基づく中間クラスのメソッドが文献で提案されており、タスクの記憶と計算フットプリントの間の合理的なバランスを提供します。この論文では、新しい忘却のない神経ブロック(FFNB)に基づいて、継続的な学習のための動的ネットワークアーキテクチャを考案します。新しいタスクでのFFNB機能のトレーニングは、前のタスクの零空間の基礎となるパラメーターを制約する新しい手順を使用して実現されますが、分類子パラメーターのトレーニングはフィッシャー判別分析に相当します。後者は、ベイジアンの観点からも最適な効果的なインクリメンタルプロセスを提供します。トレーニングされた機能と分類子は、インクリメンタルな「エンドツーエンド」の微調整を使用してさらに強化されます。さまざまな困難な分類問題で実施された広範な実験は、提案された方法の高い有効性を示しています。
Deep neural networks (DNNs) have recently achieved a great success in computer vision and several related fields. Despite such progress, current neural architectures still suffer from catastrophic interference (a.k.a. forgetting) which obstructs DNNs to learn continually. While several state-of-the-art methods have been proposed to mitigate forgetting, these existing solutions are either highly rigid (as regularization) or time/memory demanding (as replay). An intermediate class of methods, based on dynamic networks, has been proposed in the literature and provides a reasonable balance between task memorization and computational footprint. In this paper, we devise a dynamic network architecture for continual learning based on a novel forgetting-free neural block (FFNB). Training FFNB features on new tasks is achieved using a novel procedure that constrains the underlying parameters in the null-space of the previous tasks, while training classifier parameters equates to Fisher discriminant analysis. The latter provides an effective incremental process which is also optimal from a Bayesian perspective. The trained features and classifiers are further enhanced using an incremental "end-to-end" fine-tuning. Extensive experiments, conducted on different challenging classification problems, show the high effectiveness of the proposed method.