長年の重要な研究問題であるマルチビュークラスタリングは、多様なビューから補完的な情報をマイニングすることに焦点を当てています。ただし、既存の作品は、多くの場合、複数のビューの表現を融合したり、共通の特徴空間でクラスタリングを処理したりするため、特に視覚的な表現の場合、それらが絡み合う可能性があります。この問題に対処するために、解きほぐされた視覚的表現を学習することにより、新しいVAEベースのマルチビュークラスタリングフレームワーク(Multi-VAE)を提示します。具体的には、生成モデルでビュー共通変数と複数のビュー固有変数を定義します。ビュー共通変数の事前分布は、複数のビューの共通クラスター係数を抽出するために導入された、ほぼ離散的なガンベルソフトマックス分布に従います。一方、ビュー固有の変数の事前分布は、各ビューの固有の視覚的要因を表すために使用される連続ガウス分布に従います。ビュー共通表現とビュー固有表現を解きほぐす相互情報量を制御することにより、複数のビューの連続的な視覚情報を分離して、それらの共通の離散クラスター情報を効果的にマイニングできます。実験結果は、Multi-VAEが、最先端の方法と比較して優れたクラスタリングパフォーマンスを実現しながら、解きほぐされた説明可能な視覚的表現を楽しんでいることを示しています。
Multi-view clustering, a long-standing and important research problem, focuses on mining complementary information from diverse views. However, existing works often fuse multiple views' representations or handle clustering in a common feature space, which may result in their entanglement especially for visual representations. To address this issue, we present a novel VAE-based multi-view clustering framework (Multi-VAE) by learning disentangled visual representations. Concretely, we define a view-common variable and multiple view-peculiar variables in the generative model. The prior of view-common variable obeys approximately discrete Gumbel Softmax distribution, which is introduced to extract the common cluster factor of multiple views. Meanwhile, the prior of view-peculiar variable follows continuous Gaussian distribution, which is used to represent each view's peculiar visual factors. By controlling the mutual information capacity to disentangle the view-common and view-peculiar representations, continuous visual information of multiple views can be separated so that their common discrete cluster information can be effectively mined. Experimental results demonstrate that Multi-VAE enjoys the disentangled and explainable visual representations, while obtaining superior clustering performance compared with state-of-the-art methods.