arXiv reaDer
サポート-メタ学習のターゲットプロトコル
Support-Target Protocol for Meta-Learning
サポート/クエリ(S / Q)トレーニングプロトコルは、メタ学習で広く使用されています。 S / Qプロトコルは、Sでタスク固有のモデルをトレーニングし、Qでそれを評価して、Qのサイズと品質に依存するクエリ損失を使用してメタモデルを最適化します。メタ学習。タスクに理論的に最適なモデルTにアクセスできると仮定すると、Sでトレーニングされたタスク固有のモデルをTに直接一致させることができます。S/ Tプロトコルは、バイアスがかかっていてノイズの多いクエリに依存しないため、より正確な評価を提供します。インスタンス。 S / Tプロトコルを実践するには2つの課題があります。まず、タスク固有のモデルをTに一致させる方法を決定する必要があります。この目的のために、敵対的学習によって生成された架空のデータセットでのそれらの間の不一致を最小限に抑え、Tの予測能力をタスク固有のモデルに抽出します。第二に、私たちは通常、既製の最適なモデルを持っていません。別の方法として、効率と正確性の両方を維持しながら、グローバルに事前トレーニングされたメタモデルをローカルタスクで微調整することにより、代理ターゲットモデルを構築します。
The support/query (S/Q) training protocol is widely used in meta-learning. S/Q protocol trains a task-specific model on S and then evaluates it on Q to optimize the meta-model using query loss, which depends on size and quality of Q. In this paper, we study a new S/T protocol for meta-learning. Assuming that we have access to the theoretically optimal model T for a task, we can directly match the task-specific model trained on S to T. S/T protocol offers a more accurate evaluation since it does not rely on possibly biased and noisy query instances. There are two challenges in putting S/T protocol into practice. Firstly, we have to determine how to match the task-specific model to T. To this end, we minimize the discrepancy between them on a fictitious dataset generated by adversarial learning, and distill the prediction ability of T to the task-specific model. Secondly, we usually do not have ready-made optimal models. As an alternative, we construct surrogate target models by fine-tuning on local tasks the globally pre-trained meta-model, maintaining both efficiency and veracity.
updated: Thu Apr 08 2021 12:41:33 GMT+0000 (UTC)
published: Thu Apr 08 2021 12:41:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト