arXiv reaDer
半教師あり継続学習の勾配を予測するための学習
Learning to Predict Gradients for Semi-Supervised Continual Learning
機械知能の重要な課題は、以前に習得した知識を忘れることなく、新しい視覚的概念を学ぶことです。継続的な学習は、この課題に取り組むことを目的としています。ただし、既存の教師あり継続学習と人間のようなインテリジェンスの間にはギャップがあり、人間はラベル付きデータとラベルなしデータの両方から学習できます。ラベルのないデータが継続的な学習プロセスにおける学習と壊滅的な忘却にどのように影響するかは不明のままです。これらの問題を調査するために、既存の継続学習モデルに一般的に適用できる新しい半教師あり継続学習方法を策定します。具体的には、新しい勾配学習者は、ラベル付きデータから学習して、ラベルなしデータの勾配を予測します。したがって、ラベルのないデータは、教師あり継続学習法に適合する可能性があります。従来の半教師あり設定とは異なり、ラベルのないデータに関連付けられている基礎となるクラスが学習プロセスに知られているとは仮定していません。言い換えると、ラベルのないデータは、ラベルの付いたデータとは非常に異なる可能性があります。主流の継続学習、敵対的継続学習、および半教師あり学習タスクで提案された方法を評価します。提案された方法は、半教師あり学習設定で分類精度で望ましいパフォーマンスを達成しながら、継続学習設定で分類精度と後方転送で最先端のパフォーマンスを達成します。これは、ラベルのない画像が、見えないデータの予測能力に関する継続学習モデルの一般化可能性を高め、壊滅的な忘却を大幅に軽減できることを意味します。コードはhttps://github.com/luoyan407/grad_prediction.gitで入手できます。
A key challenge for machine intelligence is to learn new visual concepts without forgetting the previously acquired knowledge. Continual learning is aimed towards addressing this challenge. However, there is a gap between existing supervised continual learning and human-like intelligence, where human is able to learn from both labeled and unlabeled data. How unlabeled data affects learning and catastrophic forgetting in the continual learning process remains unknown. To explore these issues, we formulate a new semi-supervised continual learning method, which can be generically applied to existing continual learning models. Specifically, a novel gradient learner learns from labeled data to predict gradients on unlabeled data. Hence, the unlabeled data could fit into the supervised continual learning method. Different from conventional semi-supervised settings, we do not hypothesize that the underlying classes, which are associated to the unlabeled data, are known to the learning process. In other words, the unlabeled data could be very distinct from the labeled data. We evaluate the proposed method on mainstream continual learning, adversarial continual learning, and semi-supervised learning tasks. The proposed method achieves state-of-the-art performance on classification accuracy and backward transfer in the continual learning setting while achieving desired performance on classification accuracy in the semi-supervised learning setting. This implies that the unlabeled images can enhance the generalizability of continual learning models on the predictive ability on unseen data and significantly alleviate catastrophic forgetting. The code is available at https://github.com/luoyan407/grad_prediction.git.
updated: Wed Jan 31 2024 05:30:08 GMT+0000 (UTC)
published: Sun Jan 23 2022 06:45:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト