このホワイトペーパーでは、ImageClustEringのセマンティック疑似ラベリングフレームワークであるSPICEについて説明します。最近提案された方法で必要とされる間接損失関数を使用する代わりに、SPICEは自己学習を介して疑似ラベルを生成し、疑似ラベルベースの分類損失を直接使用してディープクラスタリングネットワークをトレーニングします。 SPICEの基本的な考え方は、セマンティッククラスター間の不一致、インスタンスサンプル間の類似性、および埋め込みスペース内のローカルサンプルのセマンティック整合性を相乗作用させて、セマンティック駆動型パラダイムでクラスタリングネットワークを最適化することです。具体的には、意味的類似性に基づく疑似ラベリングアルゴリズムが最初に提案され、教師なし表現学習を通じてクラスタリングネットワークをトレーニングします。初期のクラスタリング結果を前提として、ローカルのセマンティック整合性の原則を使用して、信頼性の高いラベルが付けられたサンプルのセットを選択し、半疑似ラベル付けアルゴリズムをパフォーマンスの向上に適合させます。広範な実験により、SPICEは、STL10、Cifar10、Cifar100-20、ImageNet-10、ImageNet-Dog、Tiny-ImageNetを含む6つの一般的なベンチマークデータセットで最先端の方法を明らかに上回っています。平均して、私たちのSPICEメソッドは、調整されたrandインデックス、正規化された相互情報量、およびクラスタリングの精度に関して、現在の最良の結果を約10%改善します。
This paper presents SPICE, a Semantic Pseudo-labeling framework for Image ClustEring. Instead of using indirect loss functions required by the recently proposed methods, SPICE generates pseudo-labels via self-learning and directly uses the pseudo-label-based classification loss to train a deep clustering network. The basic idea of SPICE is to synergize the discrepancy among semantic clusters, the similarity among instance samples, and the semantic consistency of local samples in an embedding space to optimize the clustering network in a semantically-driven paradigm. Specifically, a semantic-similarity-based pseudo-labeling algorithm is first proposed to train a clustering network through unsupervised representation learning. Given the initial clustering results, a local semantic consistency principle is used to select a set of reliably labeled samples, and a semi-pseudo-labeling algorithm is adapted for performance boosting. Extensive experiments demonstrate that SPICE clearly outperforms the state-of-the-art methods on six common benchmark datasets including STL10, Cifar10, Cifar100-20, ImageNet-10, ImageNet-Dog, and Tiny-ImageNet. On average, our SPICE method improves the current best results by about 10% in terms of adjusted rand index, normalized mutual information, and clustering accuracy.