arXiv reaDer
NeurIPS 2021 MetaDLチャレンジから学んだ教訓:エピソード的なメタ学習を伴わないバックボーンの微調整が、数ショットの学習画像分類を支配します
Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification
ディープニューラルネットワークは、さまざまなタスクで人間よりも優れたパフォーマンスを実現できますが、大量のデータとコンピューティングリソースを必要とすることで有名であり、そのようなリソースが利用可能なドメインに成功を制限します。メタ学習手法は、関連するタスクから知識を転送することでこの問題に対処できるため、新しいタスクを学習するために必要なデータとコンピューティングリソースの量を削減できます。 MetaDLコンテストシリーズを開催します。このシリーズは、世界中の研究グループが実際の問題に対する新しいメタ(ディープ)ラーニングソリューションを作成して実験的に評価する機会を提供します。この論文では、コンテストの主催者とトップランクの参加者の間で共同で作成され、コンテストのデザイン、データセット、最高の実験結果、および15を集めたNeurIPS2021チャレンジのトップランクの方法について説明します。 (ベースラインを上回って)最終フェーズに到達し、フィードバックフェーズ中に100を超えるコードを送信したアクティブなチーム。トップ参加者のソリューションはオープンソースです。学んだ教訓には、効果的な転移学習には優れた表現を学ぶことが不可欠であることが含まれています。
Although deep neural networks are capable of achieving performance superior to humans on various tasks, they are notorious for requiring large amounts of data and computing resources, restricting their success to domains where such resources are available. Metalearning methods can address this problem by transferring knowledge from related tasks, thus reducing the amount of data and computing resources needed to learn new tasks. We organize the MetaDL competition series, which provide opportunities for research groups all over the world to create and experimentally assess new meta-(deep)learning solutions for real problems. In this paper, authored collaboratively between the competition organizers and the top-ranked participants, we describe the design of the competition, the datasets, the best experimental results, as well as the top-ranked methods in the NeurIPS 2021 challenge, which attracted 15 active teams who made it to the final phase (by outperforming the baseline), making over 100 code submissions during the feedback phase. The solutions of the top participants have been open-sourced. The lessons learned include that learning good representations is essential for effective transfer learning.
updated: Mon Jul 11 2022 08:43:12 GMT+0000 (UTC)
published: Wed Jun 15 2022 10:27:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト