対照的な喪失とその変種は、監督なしで視覚的表現を学習するために最近非常に人気があります。この作業では、対照学習の3つの興味深い特性を研究します。最初に、標準的な対照損失をより広範な損失ファミリーに一般化し、一般化された損失のさまざまなインスタンス化が、多層非線形射影ヘッドの存在下で同様に実行されることを発見しました。次に、インスタンスベースの対照学習(グローバル画像表現に基づくSimCLR、MoCo、BYOLなど)が、複数のオブジェクトが存在する画像でうまく学習できるかどうかを調べます。これらの目的がグローバルインスタンスレベルの機能で動作するという事実にもかかわらず、意味のある階層的なローカル機能を学習できることがわかりました。最後に、「色の分布」と「オブジェクトクラス」など、拡張ビュー間で共有される競合する機能間の機能抑制の興味深い現象を研究します。明示的で制御可能な競合機能を使用してデータセットを構築し、対照的な学習の場合、学習しやすい共有機能の数ビットが他の競合機能のセットの学習を抑制し、完全に防止できることを示します。画像内に複数のオブジェクトがあるシナリオでは、支配的なオブジェクトは小さなオブジェクトの学習を抑制します。既存の対照的な学習方法は、データ拡張に大きく依存して特定の機能セットを他の機能よりも優先し、既存の拡張が機能抑制に完全に対処できないシナリオでは潜在的な制限に直面します。これは、既存の対照的な学習手法に未解決の課題をもたらします。
Contrastive loss and its variants have become very popular recently for learning visual representations without supervision. In this work, we study three intriguing properties of contrastive learning. We first generalize the standard contrastive loss to a broader family of losses, and we find that various instantiations of the generalized loss perform similarly under the presence of a multi-layer non-linear projection head. We then study if instance-based contrastive learning (such as in SimCLR, MoCo, BYOL, and so on, which are based on global image representation) can learn well on images with multiple objects present. We find that meaningful hierarchical local features can be learned despite the fact that these objectives operate on global instance-level features. Finally, we study an intriguing phenomenon of feature suppression among competing features shared across augmented views, such as "color distribution" vs "object class". We construct datasets with explicit and controllable competing features, and show that, for contrastive learning, a few bits of easy-to-learn shared features can suppress, and even fully prevent, the learning of other sets of competing features. In scenarios where there are multiple objects in an image, the dominant object would suppress the learning of smaller objects. Existing contrastive learning methods critically rely on data augmentation to favor certain sets of features over others, and face potential limitation for scenarios where existing augmentations cannot fully address the feature suppression. This poses open challenges to existing contrastive learning techniques.