arXiv reaDer
少数ショット画像認識のためのエピソードリプレイ蒸留によるインクリメンタルメタ学習
Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
ほとんどのメタ学習アプローチは、基本知識のエピソード的なメタ学習に利用できるラベル付きデータの非常に大きなセットの存在を前提としています。これは、データが互いに素なクラスを含むタスクの形で段階的に到着する、より現実的な継続的な学習パラダイムとは対照的です。このホワイトペーパーでは、クラスが個別のタスクで段階的に提示されるインクリメンタルメタ学習(IML)のこの問題について検討します。メタ学習のためにエピソードをサンプリングするときに、現在のタスクのクラスと前のタスクのクラスの模範を混合する、エピソード再生蒸留(ERD)と呼ばれるIMLへのアプローチを提案します。これらのエピソードは、壊滅的な忘却を最小限に抑えるための知識の蒸留に使用されます。 4つのデータセットでの実験は、ERDが最先端を超えていることを示しています。特に、より困難なワンショットの長いタスクシーケンスの増分メタ学習シナリオでは、IMLと共同トレーニングの上限との間のギャップを現在の状態で3.5%/ 10.1%/ 13.4%から削減します。 -Tiered-ImageNet / Mini-ImageNet / CIFAR100での方法で、それぞれ2.6%/ 2.9%/ 5.0%にアートします。
Most meta-learning approaches assume the existence of a very large set of labeled data available for episodic meta-learning of base knowledge. This contrasts with the more realistic continual learning paradigm in which data arrives incrementally in the form of tasks containing disjoint classes. In this paper we consider this problem of Incremental Meta-Learning (IML) in which classes are presented incrementally in discrete tasks. We propose an approach to IML, which we call Episodic Replay Distillation (ERD), that mixes classes from the current task with class exemplars from previous tasks when sampling episodes for meta-learning. These episodes are then used for knowledge distillation to minimize catastrophic forgetting. Experiments on four datasets demonstrate that ERD surpasses the state-of-the-art. In particular, on the more challenging one-shot, long task sequence incremental meta-learning scenarios, we reduce the gap between IML and the joint-training upper bound from 3.5% / 10.1% / 13.4% with the current state-of-the-art to 2.6% / 2.9% / 5.0% with our method on Tiered-ImageNet / Mini-ImageNet / CIFAR100, respectively.
updated: Thu Nov 11 2021 16:54:45 GMT+0000 (UTC)
published: Tue Nov 09 2021 08:32:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト