ほとんどの数ショットの学習手法は、ラベルが付けられた大きな「ベースデータセット」で事前にトレーニングされています。このような大きなラベル付きデータセットが事前トレーニングに利用できない問題ドメイン(X線、衛星画像など)では、別の「ソース」問題ドメイン(ImageNetなど)で事前トレーニングを行う必要があります。目的のターゲットタスクとは大きく異なります。ソースタスクとターゲットタスクの間にこのような極端な違いがあると、従来の数ショットおよび転送学習手法は失敗します。このホワイトペーパーでは、この極端なドメインギャップに対処するためのシンプルで効果的なソリューションを紹介します。ターゲットドメインからのラベルなしデータでソースドメイン表現をセルフトレーニングします。これにより、複数のドメインからのデータセットで構成される挑戦的なBSCD-FSLベンチマークで、ターゲットドメインのワンショットパフォーマンスが平均2.9ポイント向上することを示します。私たちのコードはhttps://github.com/cpphoo/STARTUPで入手できます。
Most few-shot learning techniques are pre-trained on a large, labeled "base dataset". In problem domains where such large labeled datasets are not available for pre-training (e.g., X-ray, satellite images), one must resort to pre-training in a different "source" problem domain (e.g., ImageNet), which can be very different from the desired target task. Traditional few-shot and transfer learning techniques fail in the presence of such extreme differences between the source and target tasks. In this paper, we present a simple and effective solution to tackle this extreme domain gap: self-training a source domain representation on unlabeled data from the target domain. We show that this improves one-shot performance on the target domain by 2.9 points on average on the challenging BSCD-FSL benchmark consisting of datasets from multiple domains. Our code is available at https://github.com/cpphoo/STARTUP.