複数のモダリティまたはビューから補完的な情報を探索するマルチモーダルクラスタリングは、人々の注目を集めています。ただし、既存の作業では、クラスタリングのために複数のモダリティの高レベルのセマンティック情報を抽出することに焦点を当てることはめったにありません。本論文では、対照学習を介して高レベルの意味情報をマイニングできる対照マルチモーダルクラスタリング(CMMC)を提案します。具体的には、私たちのフレームワークは3つの部分で構成されています。 (1)複数のオートエンコーダーは、補完的な情報を学習するために各モダリティの多様性を維持するように最適化されています。 (2)異なるモダリティから一般的な高レベルの意味的特徴を学習するために、特徴対照モジュールが提案されています。 (3)ラベル対照モジュールは、すべてのモダリティに対して一貫したクラスター割り当てを学習することを目的としています。提案されたマルチモーダル対照学習により、低レベルの潜在的特徴の多様性が維持されながら、高レベルの特徴の相互情報量が最大化されます。さらに、学習した高レベルのセマンティック機能を利用するために、最大マッチング問題を解決してクラスター割り当てを微調整することにより、疑似ラベルをさらに生成します。広範な実験により、CMMCは優れたスケーラビリティを備えており、最先端のマルチモーダルクラスタリング手法よりも優れていることが実証されています。
Multi-modal clustering, which explores complementary information from multiple modalities or views, has attracted people's increasing attentions. However, existing works rarely focus on extracting high-level semantic information of multiple modalities for clustering. In this paper, we propose Contrastive Multi-Modal Clustering (CMMC) which can mine high-level semantic information via contrastive learning. Concretely, our framework consists of three parts. (1) Multiple autoencoders are optimized to maintain each modality's diversity to learn complementary information. (2) A feature contrastive module is proposed to learn common high-level semantic features from different modalities. (3) A label contrastive module aims to learn consistent cluster assignments for all modalities. By the proposed multi-modal contrastive learning, the mutual information of high-level features is maximized, while the diversity of the low-level latent features is maintained. In addition, to utilize the learned high-level semantic features, we further generate pseudo labels by solving a maximum matching problem to fine-tune the cluster assignments. Extensive experiments demonstrate that CMMC has good scalability and outperforms state-of-the-art multi-modal clustering methods.