arXiv reaDer
ターゲットモデルからのメタ学習の実現に向けて
Towards Enabling Meta-Learning from Target Models
メタ学習は、以前の学習経験から誘導バイアスを抽出し、新しいタスクのトレーニングを支援することができます。多くの場合、タスク固有のソルバーの評価損失を伴うメタモデルを最適化することで実現されます。ほとんどの既存のアルゴリズムは、単純さ(S / Qプロトコル)により、重複しないサポートセットとクエリセットをサンプリングして、ソルバーをそれぞれトレーニングおよび評価します。 S / Qプロトコルとは異なり、タスク固有のソルバーを、このタスクに最適なモデルであるターゲットモデルTまたはこのタスクで十分に動作するモデル(S / Tプロトコル)と比較することで評価することもできます。 S / Tプロトコルには研究が不足していますが、より有益な監視を提供するなどの独自の利点がありますが、計算コストが高くなります。このホワイトペーパーでは、この特別な評価方法を検討し、それを実践するための一歩を踏み出します。ターゲットモデルで武装したタスクの比率が小さい場合、従来のメタ学習アルゴリズムは、多くのリソースを消費することなく大幅に改善できることがわかりました。メタ学習の典型的なアプリケーション、つまり数ショット学習におけるS / Tプロトコルの有効性を経験的に検証します。詳細には、これらのハードタスクで事前にトレーニングされたネットワークを微調整してターゲットモデルを構築した後、知識の蒸留によってタスク固有のソルバーとターゲットモデルを照合します。
Meta-learning can extract an inductive bias from previous learning experience and assist the training of new tasks. It is often realized through optimizing a meta-model with the evaluation loss of task-specific solvers. Most existing algorithms sample non-overlapping support sets and query sets to train and evaluate the solvers respectively due to simplicity (S/Q protocol). Different from S/Q protocol, we can also evaluate a task-specific solver by comparing it to a target model T, which is the optimal model for this task or a model that behaves well enough on this task (S/T protocol). Although being short of research, S/T protocol has unique advantages such as offering more informative supervision, but it is computationally expensive. This paper looks into this special evaluation method and takes a step towards putting it into practice. We find that with a small ratio of tasks armed with target models, classic meta-learning algorithms can be improved a lot without consuming many resources. We empirically verify the effectiveness of S/T protocol in a typical application of meta-learning, i.e., few-shot learning. In detail, after constructing target models by fine-tuning the pre-trained network on those hard tasks, we match the task-specific solvers and target models via knowledge distillation.
updated: Fri Dec 17 2021 04:56:48 GMT+0000 (UTC)
published: Thu Apr 08 2021 12:41:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト