arXiv reaDer
強力な教師とのショットラーニングはほとんどありません
Few-Shot Learning with a Strong Teacher
少数ショット学習(FSL)は、限定されたラベル付きの例を使用して分類器を生成することを目的としています。多くの既存の作品はメタ学習アプローチを採用しており、数ショットの例から学習して分類子を生成できる数ショットの学習者を構築しています。通常、数ショット学習者は、複数の数ショットタスクを順番にサンプリングし、それらのタスクの分類器を生成する際の数ショット学習者のパフォーマンスを最適化することによって構築またはメタトレーニングされます。パフォーマンスは、結果の分類子がこれらのタスクのテスト(つまりクエリ)の例をどれだけうまく分類するかによって測定されます。このホワイトペーパーでは、このアプローチの2つの潜在的な弱点を指摘します。まず、サンプリングされたクエリの例では、数ショットの学習者をメタトレーニングするための十分な監視が提供されない場合があります。第二に、メタ学習の有効性は、ショット数の増加に伴って急激に低下します。これらの問題を解決するために、少数ショット学習者が強力な分類器のように機能する分類器を生成するように促すことである、少数ショット学習者向けの新しいメタトレーニング目標を提案します。具体的には、サンプリングされた各数ショットのタスクを、十分なラベル付きの例でトレーニングされた強力な分類器に関連付けます。強力な分類器は、少数のショットの学習者が与えられた少数のショットの例を生成することを期待するターゲット分類器と見なすことができ、強力な分類器を使用して少数のショットの学習者を監督します。強力な分類器を構築する効率的な方法を提示し、提案された目的を既存のメタ学習ベースのFSLメソッドに簡単にプラグアンドプレイする用語にします。多くの代表的なメタ学習手法と組み合わせて、アプローチであるLastShotを検証します。いくつかのベンチマークデータセットでは、私たちのアプローチはさまざまなタスクにわたって顕著な改善につながります。さらに重要なことに、私たちのアプローチでは、メタ学習ベースのFSLメソッドは、さまざまなショット数で非メタ学習ベースのメソッドよりも優れたパフォーマンスを発揮します。
Few-shot learning (FSL) aims to generate a classifier using limited labeled examples. Many existing works take the meta-learning approach, constructing a few-shot learner that can learn from few-shot examples to generate a classifier. Typically, the few-shot learner is constructed or meta-trained by sampling multiple few-shot tasks in turn and optimizing the few-shot learner's performance in generating classifiers for those tasks. The performance is measured by how well the resulting classifiers classify the test (i.e., query) examples of those tasks. In this paper, we point out two potential weaknesses of this approach. First, the sampled query examples may not provide sufficient supervision for meta-training the few-shot learner. Second, the effectiveness of meta-learning diminishes sharply with the increasing number of shots. To resolve these issues, we propose a novel meta-training objective for the few-shot learner, which is to encourage the few-shot learner to generate classifiers that perform like strong classifiers. Concretely, we associate each sampled few-shot task with a strong classifier, which is trained with ample labeled examples. The strong classifiers can be seen as the target classifiers that we hope the few-shot learner to generate given few-shot examples, and we use the strong classifiers to supervise the few-shot learner. We present an efficient way to construct the strong classifier, making our proposed objective an easily plug-and-play term to existing meta-learning based FSL methods. We validate our approach, LastShot, in combinations with many representative meta-learning methods. On several benchmark datasets, our approach leads to a notable improvement across a variety of tasks. More importantly, with our approach, meta-learning based FSL methods can outperform non-meta-learning based methods at different numbers of shots.
updated: Mon Jul 11 2022 01:37:45 GMT+0000 (UTC)
published: Thu Jul 01 2021 03:20:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト