表現学習の最近の進歩により、教師なし画像分類タスクの困難な問題に原則に基づいた方法で取り組むようになりました。クラスタリングと対照的な自己教師あり学習の力を組み合わせた教師なし画像分類方法である ContraCluster を提案します。 ContraCluster は、(1) 対照的な自己教師あり事前トレーニング (CPT)、(2) 対照プロトタイプ サンプリング (CPS)、および (3) プロトタイプベースの半教師あり微調整 (PB-SFT) の 3 つの段階で構成されます。 CPS は、対照学習によって学習された埋め込み空間で、非常に正確でカテゴリ的に原型的な画像を選択できます。サンプリングされたプロトタイプをノイズの多いラベル付きデータとして使用して半教師あり微調整 (PB-SFT) を実行し、小さなプロトタイプと大きなラベルなしデータを活用して精度をさらに高めます。 ContraCluster が、CIFAR-10、STL-10、および ImageNet-10 を含む標準的なベンチマーク データセットに対して新しい最先端の結果を達成することを経験的に示しています。たとえば、ContraCluster は CIFAR-10 で約 90.8% の精度を達成し、DAC (52.2%)、IIC (61.7%)、および SCAN (87.6%) を大幅に上回っています。ラベルがない場合、ContraCluster は 90.8% の精度を達成できます。これは、最高の教師付きカウンターパートによる 95.8% に匹敵します。
The recent advances in representation learning inspire us to take on the challenging problem of unsupervised image classification tasks in a principled way. We propose ContraCluster, an unsupervised image classification method that combines clustering with the power of contrastive self-supervised learning. ContraCluster consists of three stages: (1) contrastive self-supervised pre-training (CPT), (2) contrastive prototype sampling (CPS), and (3) prototype-based semi-supervised fine-tuning (PB-SFT). CPS can select highly accurate, categorically prototypical images in an embedding space learned by contrastive learning. We use sampled prototypes as noisy labeled data to perform semi-supervised fine-tuning (PB-SFT), leveraging small prototypes and large unlabeled data to further enhance the accuracy. We demonstrate empirically that ContraCluster achieves new state-of-the-art results for standard benchmark datasets including CIFAR-10, STL-10, and ImageNet-10. For example, ContraCluster achieves about 90.8% accuracy for CIFAR-10, which outperforms DAC (52.2%), IIC (61.7%), and SCAN (87.6%) by a large margin. Without any labels, ContraCluster can achieve a 90.8% accuracy that is comparable to 95.8% by the best supervised counterpart.