arXiv reaDer
An Ensemble of Epoch-wise Empirical Bayes for Few-shot Learning
 少数ショット学習は、いくつかの例を使用して効率的な予測モデルをトレーニングすることを目的としています。トレーニングデータの欠如は、高分散または低信頼性の予測を実行する貧弱なモデルにつながります。この論文では、エポックワイズの経験的ベイズモデル(E3BM)のアンサンブルをメタ学習して、ロバストな予測を実現することを提案します。 「エポックワイズ」とは、各トレーニングエポックにベイズモデルがあり、そのパラメーターが具体的に学習および展開されることを意味します。 「経験的」とは、例えば、エポックワイズモデルの学習と組み立てに使用されるハイパーパラメーターが、タスク固有のデータを条件とする超優先学習者によって生成されることを意味します。メタ学習のパラダイムで、帰納的対トランスダクティブ、およびエポック依存対エポック非依存を考慮することにより、4種類の超優先学習者を紹介します。 miniImageNet、tieredImageNet、FC100の3つの難しいベンチマークで5クラスの数ショットタスクの広範な実験を実施し、エポック依存のトランスダクティブハイパープライアー学習器を使用して最高のパフォーマンスを達成します。私たちのアブレーション研究は、「エポックワイズアンサンブル」と「経験的」の両方が、モデルパフォーマンスの高い効率と堅牢性を促進することを示しています。
Few-shot learning aims to train efficient predictive models with a few examples. The lack of training data leads to poor models that perform high-variance or low-confidence predictions. In this paper, we propose to meta-learn the ensemble of epoch-wise empirical Bayes models (E3BM) to achieve robust predictions. "Epoch-wise" means that each training epoch has a Bayes model whose parameters are specifically learned and deployed. "Empirical" means that the hyperparameters, e.g., used for learning and ensembling the epoch-wise models, are generated by hyperprior learners conditional on task-specific data. We introduce four kinds of hyperprior learners by considering inductive vs. transductive, and epoch-dependent vs. epoch-independent, in the paradigm of meta-learning. We conduct extensive experiments for five-class few-shot tasks on three challenging benchmarks: miniImageNet, tieredImageNet, and FC100, and achieve top performance using the epoch-dependent transductive hyperprior learner, which captures the richest information. Our ablation study shows that both "epoch-wise ensemble" and "empirical" encourage high efficiency and robustness in the model performance.
updated: Fri Jul 17 2020 09:31:15 GMT+0000 (UTC)
published: Wed Apr 17 2019 20:02:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト