人間のユニークな認知能力は、一連の経験から新しい知識とスキルを習得する能力にあります。一方、人工知能システムは、過去に学習したデータベースを思い出すことができずに、最後に与えられたタスクのみを学習するのが得意です。教師と生徒のネットワークフレームワークを採用することにより、新しい生涯学習方法論を提案します。 Studentモジュールは新しい特定のデータベースでトレーニングされますが、Teacherモジュールは過去に学習した情報についてStudentに思い出させます。 Generative Adversarial Network(GAN)によって実装された教師は、以前に学習したデータベースの確率的表現に対応する過去の知識を保存および再生するように訓練されています。一方、Studentモジュールは、Teacherモジュールの出力と新しく利用可能なデータベースの両方から潜在変数表現を推測するVariational Autoencoder(VAE)によって実装されます。さらに、Studentモジュールは、さまざまなドメインにわたる連続および離散の基礎となるデータ表現の両方をキャプチャするようにトレーニングされています。提案された生涯学習フレームワークは、教師あり、半教師あり、および教師なしトレーニングに適用されます。コードが利用可能です〜:https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning
A unique cognitive capability of humans consists in their ability to acquire new knowledge and skills from a sequence of experiences. Meanwhile, artificial intelligence systems are good at learning only the last given task without being able to remember the databases learnt in the past. We propose a novel lifelong learning methodology by employing a Teacher-Student network framework. While the Student module is trained with a new given database, the Teacher module would remind the Student about the information learnt in the past. The Teacher, implemented by a Generative Adversarial Network (GAN), is trained to preserve and replay past knowledge corresponding to the probabilistic representations of previously learn databases. Meanwhile, the Student module is implemented by a Variational Autoencoder (VAE) which infers its latent variable representation from both the output of the Teacher module as well as from the newly available database. Moreover, the Student module is trained to capture both continuous and discrete underlying data representations across different domains. The proposed lifelong learning framework is applied in supervised, semi-supervised and unsupervised training. The code is available~: https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning