arXiv reaDer
メタ学習のためのサンプルタスクの学習
Learning to Sample Tasks for Meta Learning
さまざまなメタ学習方法、タスク サンプラー、少数ショット学習タスクの実験を通じて、この論文は 3 つの結論に達しました。まず、メタ学習モデルのパフォーマンスを保証する普遍的なタスク サンプリング戦略はありません。第 2 に、タスクの多様性により、トレーニング中にモデルが過小適合または過適合する可能性があります。最後に、モデルの汎化パフォーマンスは、タスクの発散、タスクのエントロピー、およびタスクの難易度によって影響されます。これらの発見に応えて、我々はアダプティブ サンプラー (ASr) と呼ばれる新しいタスク サンプラーを提案します。 ASr は、タスクの発散、タスクのエントロピー、タスクの難易度を考慮してタスクをサンプリングするプラグアンドプレイのタスク サンプラーです。 ASr を最適化するために、シンプルで一般的なメタ学習アルゴリズムを再考して提案します。最後に、多数の実証実験により、提案された ASr の有効性が実証されています。
Through experiments on various meta-learning methods, task samplers, and few-shot learning tasks, this paper arrives at three conclusions. Firstly, there are no universal task sampling strategies to guarantee the performance of meta-learning models. Secondly, task diversity can cause the models to either underfit or overfit during training. Lastly, the generalization performance of the models are influenced by task divergence, task entropy, and task difficulty. In response to these findings, we propose a novel task sampler called Adaptive Sampler (ASr). ASr is a plug-and-play task sampler that takes task divergence, task entropy, and task difficulty to sample tasks. To optimize ASr, we rethink and propose a simple and general meta-learning algorithm. Finally, a large number of empirical experiments demonstrate the effectiveness of the proposed ASr.
updated: Tue Sep 05 2023 01:15:42 GMT+0000 (UTC)
published: Tue Jul 18 2023 01:53:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト