arXiv reaDer
対象モデルからのメタ学習の実現に向けて
Towards Enabling Meta-Learning from Target Models
メタ学習は、以前の学習経験から誘導バイアスを抽出し、新しいタスクのトレーニング プロセスを支援できます。これは、多くの場合、一連のタスク固有のソルバーの評価損失を使用してメタモデルを最適化することで実現されます。ほとんどの既存のアルゴリズムは、単純さ (S/Q プロトコル) のため、重複しないサポート セットとクエリ セットをサンプリングして、それぞれソルバーをトレーニングおよび評価します。ただし、ソルバーとターゲット モデルの間の不一致を評価する別の評価方法は、研究が不足しています (S/T プロトコル)。 S/T プロトコルには、より有益な監視を提供するなどの独自の利点がありますが、計算コストがかかります。この論文は、この特別な評価方法を検討し、それを実用化するための一歩を踏み出します。ターゲット モデルで武装した小さな比率のタスクで、多くのリソースを消費することなく、古典的なメタ学習アルゴリズムを大幅に改善できることがわかりました。さらに、メタ学習の典型的なアプリケーション、つまり少数ショット学習における S/T プロトコルの有効性を経験的に検証します。詳細には、これらのハード タスクで事前トレーニングされたネットワークを微調整してターゲット モデルを構築した後、知識の蒸留によってタスク固有のソルバーをターゲット モデルに一致させます。実験は、私たちの提案の優位性を示しています。
Meta-learning can extract an inductive bias from previous learning experience and assist the training processes of new tasks. It is often realized through optimizing a meta-model with the evaluation loss of a series of task-specific solvers. Most existing algorithms sample non-overlapping support sets and query sets to train and evaluate the solvers respectively due to simplicity (S/Q protocol). However, another evaluation method that assesses the discrepancy between the solver and a target model is short of research (S/T protocol). S/T protocol has unique advantages such as offering more informative supervision, but it is computationally expensive. This paper looks into this special evaluation method and takes a step towards putting it into practice. We find that with a small ratio of tasks armed with target models, classic meta-learning algorithms can be improved a lot without consuming many resources. Furthermore, we empirically verify the effectiveness of S/T protocol in a typical application of meta-learning, i.e., few-shot learning. In detail, after constructing target models by fine-tuning the pre-trained network on those hard tasks, we match the task-specific solvers to target models via knowledge distillation. Experiments demonstrate the superiority of our proposal.
updated: Sat Jun 05 2021 07:29:24 GMT+0000 (UTC)
published: Thu Apr 08 2021 12:41:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト