arXiv reaDer
少数のショット分類でExcelにMAMLをトレーニングする方法
How to Train Your MAML to Excel in Few-Shot Classification
モデルにとらわれないメタ学習(MAML)は、間違いなく、今日最も人気のあるメタ学習アルゴリズムの1つです。それにもかかわらず、数ショット分類でのパフォーマンスは、この問題に特化した最近の多くのアルゴリズムよりもはるかに遅れています。このホワイトペーパーでは、MAMLをトレーニングして数ショットの分類に優れたものにする方法のいくつかの重要な側面を指摘します。まず、MAMLは、内部ループの更新で多数の勾配ステップを必要とすることがわかりました。これは、少数ショット分類での一般的な使用法と矛盾します。次に、MAMLはメタテスト中のクラスラベルの割り当てに敏感であることがわかります。具体的には、MAMLはN-way分類器の初期化をメタトレーニングします。これらのNの方法は、メタテスト中に「N!」になります。 N個の新しいクラスの数ショットのタスクとペアになるさまざまな順列。これらの順列は精度の大きな変動につながり、少数ショット分類でMAMLを不安定にすることがわかります。第3に、MAML順列不変を作成するためのいくつかのアプローチを調査します。その中で、分類ヘッド内のすべてのN個の重みベクトルを初期化する単一のベクトルのメタトレーニングが最適です。 MiniImageNetやTieredImageNetなどのベンチマークデータセットでは、UNICORN-MAMLという名前のアプローチは、MAMLの単純さを犠牲にすることなく、最近の多くの数ショット分類アルゴリズムと同等またはそれ以上のパフォーマンスを発揮します。
Model-agnostic meta-learning (MAML) is arguably one of the most popular meta-learning algorithms nowadays. Nevertheless, its performance on few-shot classification is far behind many recent algorithms dedicated to the problem. In this paper, we point out several key facets of how to train MAML to excel in few-shot classification. First, we find that MAML needs a large number of gradient steps in its inner loop update, which contradicts its common usage in few-shot classification. Second, we find that MAML is sensitive to the class label assignments during meta-testing. Concretely, MAML meta-trains the initialization of an N-way classifier. These N ways, during meta-testing, then have "N!" different permutations to be paired with a few-shot task of N novel classes. We find that these permutations lead to a huge variance of accuracy, making MAML unstable in few-shot classification. Third, we investigate several approaches to make MAML permutation-invariant, among which meta-training a single vector to initialize all the N weight vectors in the classification head performs the best. On benchmark datasets like MiniImageNet and TieredImageNet, our approach, which we name UNICORN-MAML, performs on a par with or even outperforms many recent few-shot classification algorithms, without sacrificing MAML's simplicity.
updated: Mon Jul 11 2022 01:59:05 GMT+0000 (UTC)
published: Wed Jun 30 2021 17:56:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト