対照学習は最近、サンプル固有の識別可能な視覚的特徴を学習することにより、ラベルのない画像の深いクラスタリングに顕著な利点をもたらしましたが、クラス決定境界を明示的に推測する可能性はあまりよく理解されていません。これは、そのインスタンス識別戦略がクラスに依存しないためです。したがって、結果のサンプル固有の特徴空間で導出されたクラスターは、意味のあるクラス決定境界に対応するように最適化されていません。この作業では、セマンティック対照学習(SCL)を導入することにより、この問題を解決します。 SCLは、セマンティック(クラスター対応)の対照的な学習目標を定式化することにより、ラベルのないトレーニングデータに明示的に距離ベースのクラスター構造を課します。さらに、インスタンスの視覚的類似性とクラスター決定境界の両方によって共同で満たされるクラスタリング整合性条件を導入し、同時に両方を最適化して、セマンティックグラウンドトゥルースクラス(不明/ラベルなし)の仮説をコンセンサスによってオンザフライで推論します。未知のクラス決定境界を発見するためのこの意味論的対照学習アプローチは、オブジェクト認識タスクの教師なし学習にかなりの利点があります。広範な実験により、SCLは、6つのオブジェクト認識ベンチマーク、特により困難な、よりきめの細かい、より大きなデータセットで、最先端の対照学習およびディープクラスタリング手法よりも優れていることが示されています。
Whilst contrastive learning has recently brought notable benefits to deep clustering of unlabelled images by learning sample-specific discriminative visual features, its potential for explicitly inferring class decision boundaries is less well understood. This is because its instance discrimination strategy is not class sensitive, therefore, the clusters derived on the resulting sample-specific feature space are not optimised for corresponding to meaningful class decision boundaries. In this work, we solve this problem by introducing Semantic Contrastive Learning (SCL). SCL imposes explicitly distance-based cluster structures on unlabelled training data by formulating a semantic (cluster-aware) contrastive learning objective. Moreover, we introduce a clustering consistency condition to be satisfied jointly by both instance visual similarities and cluster decision boundaries, and concurrently optimising both to reason about the hypotheses of semantic ground-truth classes (unknown/unlabelled) on-the-fly by their consensus. This semantic contrastive learning approach to discovering unknown class decision boundaries has considerable advantages to unsupervised learning of object recognition tasks. Extensive experiments show that SCL outperforms state-of-the-art contrastive learning and deep clustering methods on six object recognition benchmarks, especially on the more challenging finer-grained and larger datasets.