共同表現学習とクラスタリングを組み込んだ画像クラスタリングの新しいフレームワークを提案します。私たちの方法は、同じバックボーンネットワークを共有する2つのヘッド(「表現学習」ヘッドと「クラスタリング」ヘッド)で構成されています。 「表現学習」ヘッドは、インスタンスレベルでオブジェクトのきめ細かいパターンをキャプチャします。これは、オブジェクトをクラスターに分離する粗い情報を抽出するための「クラスタリング」ヘッドの手がかりとして機能します。モデル全体は、2つのヘッドの出力に適用される2つのサンプル指向の対照損失の加重和を最小化することにより、エンドツーエンドの方法でトレーニングされます。 「クラスタリング」ヘッドに対応するコントラスト損失が最適であることを保証するために、「内積の対数」と呼ばれる新しい評論家関数を導入します。広範な実験結果は、私たちの方法がさまざまな画像データセット全体で最先端のシングルステージクラスタリング方法を大幅に上回り、CIFAR10 / 20、STL10、およびImageNetで最高のベースラインよりも約5〜7%精度が向上することを示しています-犬。さらに、私たちの方法の「2段階」バリアントは、3つの挑戦的なImageNetサブセットのベースラインよりも優れた結果を達成します。
We propose a novel framework for image clustering that incorporates joint representation learning and clustering. Our method consists of two heads that share the same backbone network - a "representation learning" head and a "clustering" head. The "representation learning" head captures fine-grained patterns of objects at the instance level which serve as clues for the "clustering" head to extract coarse-grain information that separates objects into clusters. The whole model is trained in an end-to-end manner by minimizing the weighted sum of two sample-oriented contrastive losses applied to the outputs of the two heads. To ensure that the contrastive loss corresponding to the "clustering" head is optimal, we introduce a novel critic function called "log-of-dot-product". Extensive experimental results demonstrate that our method significantly outperforms state-of-the-art single-stage clustering methods across a variety of image datasets, improving over the best baseline by about 5-7% in accuracy on CIFAR10/20, STL10, and ImageNet-Dogs. Further, the "two-stage" variant of our method also achieves better results than baselines on three challenging ImageNet subsets.