ディープニューラルネットワーク(DNN)は、トレーニング分布と高い類似性を共有する分布をテストするために展開すると、良好に機能することが知られています。トレーニング配布では見られなかった新しいデータをDNNに順番に供給することには、2つの大きな課題があります。それは、新しいタスクへの迅速な適応と、古いタスクの壊滅的な忘却です。このような困難は、数発の学習と継続的な学習に関する進行中の研究への道を開いた。これらの問題に取り組むために、私たちは注意深い独立したメカニズム(AIM)を導入します。 DNNの特徴抽出と高次の概念学習の分離と組み合わせて、高速および低速の重みを使用して学習するというアイデアを取り入れています。 AIMは、新しいタスクを解決するために独立した概念を学習するために競争する専門家の混合によってモデル化された、高次の概念学習用に設計されています。 AIMは、既存の深層学習フレームワークに挿入できるモジュラーコンポーネントです。 SIBに追加し、MiniImageNetとCIFAR-FSでトレーニングすることにより、数ショット学習の機能を実証し、大幅な改善を示しています。 AIMは、Omniglot、CIFAR-100、およびMiniImageNetでトレーニングされたANMLおよびOMLにも適用され、継続的な学習におけるその機能を実証します。コードはhttps://github.com/huang50213/AIM-Fewshot-Continualで公開されています。
Deep neural networks (DNNs) are known to perform well when deployed to test distributions that shares high similarity with the training distribution. Feeding DNNs with new data sequentially that were unseen in the training distribution has two major challenges -- fast adaptation to new tasks and catastrophic forgetting of old tasks. Such difficulties paved way for the on-going research on few-shot learning and continual learning. To tackle these problems, we introduce Attentive Independent Mechanisms (AIM). We incorporate the idea of learning using fast and slow weights in conjunction with the decoupling of the feature extraction and higher-order conceptual learning of a DNN. AIM is designed for higher-order conceptual learning, modeled by a mixture of experts that compete to learn independent concepts to solve a new task. AIM is a modular component that can be inserted into existing deep learning frameworks. We demonstrate its capability for few-shot learning by adding it to SIB and trained on MiniImageNet and CIFAR-FS, showing significant improvement. AIM is also applied to ANML and OML trained on Omniglot, CIFAR-100 and MiniImageNet to demonstrate its capability in continual learning. Code made publicly available at https://github.com/huang50213/AIM-Fewshot-Continual.