対照的な自己監視学習法は、ラベルを必要とせずに、画像などのデータポイントを非パラメトリック表現空間にマッピングすることを学習します。現在の方法は非常に成功していますが、トレーニング段階で大量のデータを必要とします。ターゲットトレーニングセットのサイズが制限されている状況では、一般化が不十分であることが知られています。大規模なソースデータセットでの事前トレーニングとターゲットサンプルでの微調整は、少数のターゲットサンプルしか利用できない少数ショットレジームでは過剰適合する傾向があります。これに動機付けられて、我々は、少数ショット学習の下でのターゲット分布への適応の問題に対処するために、Few-Maxと呼ばれる自己監視対照学習のためのドメイン適応方法を提案します。表現品質を定量化するために、ImageNet、VisDA、fastMRIなどのさまざまなソースおよびターゲットデータセットでFew-Maxを評価します。これらのデータセットでは、Few-Maxが他のアプローチよりも一貫して優れています。
Contrastive self-supervised learning methods learn to map data points such as images into non-parametric representation space without requiring labels. While highly successful, current methods require a large amount of data in the training phase. In situations where the target training set is limited in size, generalization is known to be poor. Pretraining on a large source data set and fine-tuning on the target samples is prone to overfitting in the few-shot regime, where only a small number of target samples are available. Motivated by this, we propose a domain adaption method for self-supervised contrastive learning, termed Few-Max, to address the issue of adaptation to a target distribution under few-shot learning. To quantify the representation quality, we evaluate Few-Max on a range of source and target datasets, including ImageNet, VisDA, and fastMRI, on which Few-Max consistently outperforms other approaches.