arXiv reaDer
堅牢なドメイン外の少数ショット学習のための事前トレーニング済みモデルの転用
Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning
モデルにとらわれないメタ学習(MAML)は、数ショット学習の一般的な方法ですが、メタトレーニングセットにアクセスできることを前提としています。実際には、データプライバシーの懸念、知的財産の問題、または単にコンピューティングリソースの不足のために、メタトレーニングセットでのトレーニングが常にオプションであるとは限りません。この論文では、新しい数ショットの分類タスクを解決するために、事前にトレーニングされたMAMLチェックポイントを転用するという新しい問題について考察します。分布の不一致が発生する可能性があるため、元のMAMLステップが最適でなくなる可能性があります。したがって、代替のメタテスト手順を提案し、MAML勾配ステップを敵対的トレーニングおよび不確実性ベースのステップサイズ適応と組み合わせます。私たちの方法は、SGDオプティマイザーとAdamオプティマイザーの両方を使用して、同じドメインおよびクロスドメインのベンチマークで「バニラ」MAMLよりも優れており、基本ステップサイズの選択に対する堅牢性が向上しています。
Model-agnostic meta-learning (MAML) is a popular method for few-shot learning but assumes that we have access to the meta-training set. In practice, training on the meta-training set may not always be an option due to data privacy concerns, intellectual property issues, or merely lack of computing resources. In this paper, we consider the novel problem of repurposing pretrained MAML checkpoints to solve new few-shot classification tasks. Because of the potential distribution mismatch, the original MAML steps may no longer be optimal. Therefore we propose an alternative meta-testing procedure and combine MAML gradient steps with adversarial training and uncertainty-based stepsize adaptation. Our method outperforms "vanilla" MAML on same-domain and cross-domains benchmarks using both SGD and Adam optimizers and shows improved robustness to the choice of base stepsize.
updated: Tue Mar 16 2021 12:53:09 GMT+0000 (UTC)
published: Tue Mar 16 2021 12:53:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト