教師なし事前トレーニングは大きな成功を収めており、最近の多くの研究では、教師なし事前トレーニングが、ダウンストリームのターゲットデータセットでの教師あり事前トレーニングと同等またはわずかに優れた転送パフォーマンスを達成できることが示されています。しかし、この論文では、ターゲットデータセットに微調整用のラベル付きサンプルが非常に少ない場合、つまりラベル転送が少ない場合、この結論が当てはまらない可能性があることがわかります。クラスタリングの観点から考えられる理由を分析します。1)ターゲットサンプルのクラスタリング品質は、少数のラベルの転送にとって非常に重要です。 2)クラスタリングの方法を学習するには対照的な学習が不可欠ですが、ラベルの監視がないため、そのクラスタリングの品質は教師あり事前トレーニングよりも劣っています。分析に基づいて、興味深いことに、教師なし事前トレーニングにラベルのないターゲットドメインを含めるだけで、クラスタリングの品質が向上し、教師あり事前トレーニングによる転送パフォーマンスのギャップが減少することがわかりました。この発見はまた、限られた注釈予算の下で転送パフォーマンスを最大化することを目的とした、実際のアプリケーション用の新しいプログレッシブ数ラベル転送アルゴリズムを提案する動機にもなります。私たちの分析と提案された方法をサポートするために、9つの異なるターゲットデータセットで広範な実験を行います。実験結果は、提案された方法が教師なし事前トレーニングの少数ラベル転送パフォーマンスを大幅に向上させることができることを示しています。
Unsupervised pretraining has achieved great success and many recent works have shown unsupervised pretraining can achieve comparable or even slightly better transfer performance than supervised pretraining on downstream target datasets. But in this paper, we find this conclusion may not hold when the target dataset has very few labeled samples for finetuning, i.e. , few-label transfer. We analyze the possible reason from the clustering perspective: 1) The clustering quality of target samples is of great importance to few-label transfer; 2) Though contrastive learning is essential to learn how to cluster, its clustering quality is still inferior to supervised pretraining due to lack of label supervision. Based on the analysis, we interestingly discover that only involving some unlabeled target domain into the unsupervised pretraining can improve the clustering quality, subsequently reducing the transfer performance gap with supervised pretraining. This finding also motivates us to propose a new progressive few-label transfer algorithm for real applications, which aims to maximize the transfer performance under a limited annotation budget. To support our analysis and proposed method, we conduct extensive experiments on nine different target datasets. Experimental results show our proposed method can significantly boost the few-label transfer performance of unsupervised pretraining.