マルチタスク学習(MTL)は、関連するいくつかのタスクを共同で学習することにより、それらの一般化を改善することを目的としています。比較として、共同トレーニングスキームに加えて、最新のメタ学習では、テストフェーズ中にラベルが制限された目に見えないタスクを許可し、それらに対する迅速な適応を期待しています。問題の定式化におけるMTLとメタ学習の微妙な違いにもかかわらず、両方の学習パラダイムは、既存のトレーニングタスク間の共有構造がより良い一般化と適応につながる可能性があるという同じ洞察を共有しています。このホワイトペーパーでは、理論的分析と実証的調査の両方を通じて、これら2つの学習パラダイム間の密接な関係を理解するためにさらに1つの重要なステップを踏み出します。理論的には、最初に、MTLが勾配ベースのメタ学習(GBML)アルゴリズムのクラスと同じ最適化定式化を共有することを示します。次に、十分な深さを持つパラメーター化されたニューラルネットワークの場合、MTLとGBMLの学習された予測関数が近いことを証明します。特に、この結果は、これら2つのモデルによって与えられた予測が同じ目に見えないタスクで類似していることを意味します。経験的に、適切な実装により、MTLが一連の数ショット画像分類ベンチマークで最先端のGBMLアルゴリズムと競合することを示すことにより、理論的発見を裏付けます。既存のGBMLアルゴリズムには、コストのかかる2次の2レベルの最適化が含まれることが多いため、1次のMTL法は、mini-ImageNetなどの大規模なデータセットで1桁高速です。この作業は、これら2つの学習パラダイム間のギャップを埋めるのに役立ち、高速タスク適応もサポートするGBMLの計算効率の高い代替手段を提供できると考えています。
Multi-task learning (MTL) aims to improve the generalization of several related tasks by learning them jointly. As a comparison, in addition to the joint training scheme, modern meta-learning allows unseen tasks with limited labels during the test phase, in the hope of fast adaptation over them. Despite the subtle difference between MTL and meta-learning in the problem formulation, both learning paradigms share the same insight that the shared structure between existing training tasks could lead to better generalization and adaptation. In this paper, we take one important step further to understand the close connection between these two learning paradigms, through both theoretical analysis and empirical investigation. Theoretically, we first demonstrate that MTL shares the same optimization formulation with a class of gradient-based meta-learning (GBML) algorithms. We then prove that for over-parameterized neural networks with sufficient depth, the learned predictive functions of MTL and GBML are close. In particular, this result implies that the predictions given by these two models are similar over the same unseen task. Empirically, we corroborate our theoretical findings by showing that, with proper implementation, MTL is competitive against state-of-the-art GBML algorithms on a set of few-shot image classification benchmarks. Since existing GBML algorithms often involve costly second-order bi-level optimization, our first-order MTL method is an order of magnitude faster on large-scale datasets such as mini-ImageNet. We believe this work could help bridge the gap between these two learning paradigms, and provide a computationally efficient alternative to GBML that also supports fast task adaptation.