モデルにとらわれないメタ学習(MAML)は、勾配ベースのメタ学習アルゴリズムの最も代表的なものの1つです。 MAMLは、メタ初期化ポイントからの内部更新を使用していくつかのデータサンプルで新しいタスクを学習し、外部更新でメタ初期化パラメーターを学習します。最近、効率的な表現にほとんど変化をもたらさない表現の再利用が、表現に大きな変化をもたらす表現の変化とは対照的に、MAMLによるメタ初期化モデルのパフォーマンスの支配的な要因であるという仮説が立てられました。この研究では、ドメインにとらわれないタスクを解決するという、数回の学習という究極の目標のために、表現の変更の必要性を調査します。この目的のために、BOIL(Inner LoopのBodyOnly update)と呼ばれる新しいメタ学習アルゴリズムを提案します。これは、モデルの本体(エクストラクター)のみを更新し、内部ループの更新中にヘッド(分類子)をフリーズします。 BOILは、表現の再利用ではなく、表現の変更を活用します。これは、特徴ベクトル(表現)が対応するフリーズヘッドベクトルにすばやく移動する必要があるためです。コサイン類似度、CKA、およびヘッドなしの経験的結果を使用して、このプロパティを視覚化します。 BOILは、特にクロスドメインタスクで、MAMLよりも大幅なパフォーマンスの向上を経験的に示しています。結果は、勾配ベースのメタ学習アプローチにおける表現の変化が重要な要素であることを示唆しています。
Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. This is because feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.