arXiv reaDer
エピソードの難しさに対する均一なサンプリング
Uniform Sampling over Episode Difficulty
エピソードトレーニングは、ラベル付けされたデータが限られているタスクでモデルをトレーニングするための数ショット学習のコア要素です。その成功にもかかわらず、エピソードのトレーニングは大部分が研究されていないままであり、私たちに質問をするように促します:エピソードをサンプリングするための最良の方法は何ですか?本論文では、まず、難易度に基づいてエピソードのサンプリング分布を概算する方法を提案します。この方法に基づいて、広範な分析を実行し、エピソードの難易度を超えて均一にサンプリングすることは、カリキュラムや簡単/ハードマイニングを含む他のサンプリングスキームよりも優れていることを発見しました。提案されたサンプリング方法はアルゴリズムにとらわれないため、これらの洞察を活用して、多くのエピソードトレーニングアルゴリズム全体で数ショットの学習精度を向上させることができます。人気のある数ショットの学習データセット、アルゴリズム、ネットワークアーキテクチャ、およびプロトコル全体で、この方法の有効性を示します。
Episodic training is a core ingredient of few-shot learning to train models on tasks with limited labelled data. Despite its success, episodic training remains largely understudied, prompting us to ask the question: what is the best way to sample episodes? In this paper, we first propose a method to approximate episode sampling distributions based on their difficulty. Building on this method, we perform an extensive analysis and find that sampling uniformly over episode difficulty outperforms other sampling schemes, including curriculum and easy-/hard-mining. As the proposed sampling method is algorithm agnostic, we can leverage these insights to improve few-shot learning accuracies across many episodic training algorithms. We demonstrate the efficacy of our method across popular few-shot learning datasets, algorithms, network architectures, and protocols.
updated: Sat Jan 15 2022 20:28:12 GMT+0000 (UTC)
published: Tue Aug 03 2021 17:58:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト