メタ学習(ML)は、数回の学習のような制約のあるリソース設定の下での学習モデルにおける有望な方向性として浮上しています。 MLの一般的なアプローチは、エピソードトレーニングを通じて一般化可能な初期モデルまたは一般的なパラメトリックオプティマイザーを学習します。前者のアプローチは、タスクのバッチからの知識を活用して、最適な事前学習を行います。この作業では、MLのバッチの重要性を調査します。具体的には、最初にバッチエピソードトレーニングレジメンを組み込んで、一般的なパラメトリックオプティマイザーの学習を改善します。また、バッチの各タスクが最適なメタモデルの学習に等しく貢献しているというバッチエピソードトレーニングの一般的な仮定が正しい必要はないという仮説も立てます。メタモデルの学習を改善する上での「重要性」に応じて、タスクをバッチで重み付けすることを提案します。この目的のために、タスク参加メタトレーニングと呼ばれる、人間の選択的な焦点によって動機付けられたトレーニングカリキュラムを導入して、タスクをバッチで重み付けします。タスクアテンションは、任意のバッチエピソードトレーニングレジメンと統合できるスタンドアロンモジュールです。 miniImageNetやtieredImageNetなどの複雑なデータセットで、モデルとタスクに参加していないモデルを比較すると、その有効性が検証されます。
Meta-learning (ML) has emerged as a promising direction in learning models under constrained resource settings like few-shot learning. The popular approaches for ML either learn a generalizable initial model or a generic parametric optimizer through episodic training. The former approaches leverage the knowledge from a batch of tasks to learn an optimal prior. In this work, we study the importance of a batch for ML. Specifically, we first incorporate a batch episodic training regimen to improve the learning of the generic parametric optimizer. We also hypothesize that the common assumption in batch episodic training that each task in a batch has an equal contribution to learning an optimal meta-model need not be true. We propose to weight the tasks in a batch according to their "importance" in improving the meta-model's learning. To this end, we introduce a training curriculum motivated by selective focus in humans, called task attended meta-training, to weight the tasks in a batch. Task attention is a standalone module that can be integrated with any batch episodic training regimen. The comparisons of the models with their non-task-attended counterparts on complex datasets like miniImageNet and tieredImageNet validate its effectiveness.