最近、自己教師あり学習が大きな注目を集めています。これは、モデルのトレーニングにラベル付けされていないデータしか必要としないためです。対照学習は、自己教師あり学習の一般的な方法の 1 つであり、有望な経験的パフォーマンスを達成しています。ただし、その一般化能力の理論的理解はまだ限られています。この目的のために、データ拡張を数学的に定量化する一種の (σ,δ) 尺度を定義し、その尺度に基づいてダウンストリーム分類エラー率の上限を提供します。対照的な自己教師あり学習の一般化能力は、陽性サンプルの整列、クラス センターの発散、拡張データの集中という 3 つの重要な要因に関連していることが明らかになりました。最初の 2 つの要素は学習した表現のプロパティであり、3 つ目の要素は事前定義されたデータ拡張によって決定されます。さらに、InfoNCE と相互相関という 2 つの正規の対照的な損失を調査して、最初の 2 つの要因がどのように証明可能に達成されるかを示します。さらに、3 番目の要因を調査するための実験を行い、下流のパフォーマンスと拡張データの濃度との間に強い相関関係があることを観察しました。
Recently, self-supervised learning has attracted great attention, since it only requires unlabeled data for model training. Contrastive learning is one popular method for self-supervised learning and has achieved promising empirical performance. However, the theoretical understanding of its generalization ability is still limited. To this end, we define a kind of (σ,δ)-measure to mathematically quantify the data augmentation, and then provide an upper bound of the downstream classification error rate based on the measure. It reveals that the generalization ability of contrastive self-supervised learning is related to three key factors: alignment of positive samples, divergence of class centers, and concentration of augmented data. The first two factors are properties of learned representations, while the third one is determined by pre-defined data augmentation. We further investigate two canonical contrastive losses, InfoNCE and cross-correlation, to show how they provably achieve the first two factors. Moreover, we conduct experiments to study the third factor, and observe a strong correlation between downstream performance and the concentration of augmented data.