私たちは、ネットワーク アーキテクチャの変化に伴う継続学習 (CL) 問題に取り組むための新しいフレームワークとソリューションを提案します。ほとんどの CL メソッドは、重みを変更することで単一のアーキテクチャを新しいタスク/クラスに適応させることに重点を置いています。しかし、アーキテクチャ設計の急速な進歩に伴い、既存のソリューションを新しいアーキテクチャに適応させるという問題が関連するようになりました。この制限に対処するために、私たちは、さまざまな進化するネットワーク アーキテクチャが新しいデータ/タスクとともに継続的に出現する異種連続学習 (HCL) を提案します。解決策として、私たちは蒸留技術ファミリーの上に構築し、より弱いモデルが教師の役割を果たす新しい設定に変更します。その間、新しい強力なアーキテクチャが生徒として機能します。さらに、以前のデータへのアクセスが制限された設定を検討し、知識の伝達をサポートするために以前のタスクの視覚的特徴を復元するクイックディープインバージョン (QDI) を提案します。 QDI は、以前のソリューションと比較して計算コストを大幅に削減し、全体的なパフォーマンスを向上させます。要約すると、修正された知識蒸留パラダイムを備えた CL の新しいセットアップを提案し、蒸留を強化するための迅速なデータ反転手法を設計します。さまざまなベンチマークを評価したところ、さまざまなネットワーク アーキテクチャにおける最先端の手法と比較して、精度が大幅に向上していることがわかりました。
We propose a novel framework and a solution to tackle the continual learning (CL) problem with changing network architectures. Most CL methods focus on adapting a single architecture to a new task/class by modifying its weights. However, with rapid progress in architecture design, the problem of adapting existing solutions to novel architectures becomes relevant. To address this limitation, we propose Heterogeneous Continual Learning (HCL), where a wide range of evolving network architectures emerge continually together with novel data/tasks. As a solution, we build on top of the distillation family of techniques and modify it to a new setting where a weaker model takes the role of a teacher; meanwhile, a new stronger architecture acts as a student. Furthermore, we consider a setup of limited access to previous data and propose Quick Deep Inversion (QDI) to recover prior task visual features to support knowledge transfer. QDI significantly reduces computational costs compared to previous solutions and improves overall performance. In summary, we propose a new setup for CL with a modified knowledge distillation paradigm and design a quick data inversion method to enhance distillation. Our evaluation of various benchmarks shows a significant improvement on accuracy in comparison to state-of-the-art methods over various networks architectures.