対照的な学習は、最近、自己教師あり学習で大きな成功を収めています。ただし、これまでのところ、学習された表現がさまざまなダウンストリームタスクに非常に効果的に一般化される理由はほとんど不明です。ここでは、一般的に使用されるInfoNCEファミリーに属する目的でトレーニングされたフィードフォワードモデルが、観測データの基礎となる生成モデルを暗黙的に反転することを学習することを証明します。証明は生成モデルについて特定の統計的仮定を行いますが、これらの仮定に著しく違反している場合でも、私たちの調査結果が成り立つことを経験的に観察しています。私たちの理論は、対照学習、生成モデリング、および非線形独立成分分析の間の基本的な関係を強調し、それによって学習された表現の理解を深め、より効果的な対照損失を導き出すための理論的基盤を提供します。
Contrastive learning has recently seen tremendous success in self-supervised learning. So far, however, it is largely unclear why the learned representations generalize so effectively to a large variety of downstream tasks. We here prove that feedforward models trained with objectives belonging to the commonly used InfoNCE family learn to implicitly invert the underlying generative model of the observed data. While the proofs make certain statistical assumptions about the generative model, we observe empirically that our findings hold even if these assumptions are severely violated. Our theory highlights a fundamental connection between contrastive learning, generative modeling, and nonlinear independent component analysis, thereby furthering our understanding of the learned representations as well as providing a theoretical foundation to derive more effective contrastive losses.