arXiv reaDer
When Does Self-supervision Improve Few-shot Learning?
少数ショット学習のコンテキストでの自己監視学習(SSL)の役割を調査します。最近の調査では、ラベルのない大きなデータセットに対するSSLの利点が示されていますが、小さなデータセットに対するSSLの有用性は比較的調査されていません。データセットが小さく、データセット内の画像のみを使用している場合でも、SSLにより、少数ショットのメタラーナーの相対エラー率が4%〜27%減少することがわかります。トレーニングセットが小さいほど、またはタスクがより困難な場合、改善は大きくなります。 SSLの利点はトレーニングセットが大きくなると増加する可能性がありますが、メタ学習とSSLに使用されるイメージの分布が異なる場合、SSLがパフォーマンスを低下させる可能性があることがわかります。ドメインシフトの程度を変化させ、複数のドメインでいくつかのメタ学習者のパフォーマンスを分析することにより、体系的な調査を実施します。この分析に基づいて、特定のデータセットのラベル付けされていない画像の大規模な汎用プールからSSLの画像を自動的に選択し、さらに改善する手法を紹介します。
We investigate the role of self-supervised learning (SSL) in the context of few-shot learning. Although recent research has shown the benefits of SSL on large unlabeled datasets, its utility on small datasets is relatively unexplored. We find that SSL reduces the relative error rate of few-shot meta-learners by 4%-27%, even when the datasets are small and only utilizing images within the datasets. The improvements are greater when the training set is smaller or the task is more challenging. Although the benefits of SSL may increase with larger training sets, we observe that SSL can hurt the performance when the distributions of images used for meta-learning and SSL are different. We conduct a systematic study by varying the degree of domain shift and analyzing the performance of several meta-learners on a multitude of domains. Based on this analysis we present a technique that automatically selects images for SSL from a large, generic pool of unlabeled images for a given dataset that provides further improvements.
updated: Thu Jul 30 2020 06:08:35 GMT+0000 (UTC)
published: Tue Oct 08 2019 17:47:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト