画像とは何か、潜在的な特徴を抽出する方法は?畳み込みネットワーク (ConvNets) は、画像を長方形の組織化されたピクセルと見なし、ローカル領域で畳み込み演算を介して特徴を抽出します。ビジョン トランスフォーマー (ViTs) は、画像を一連のパッチとして扱い、グローバルな範囲でアテンション メカニズムを介して特徴を抽出します。この作業では、コンテキスト クラスターと呼ばれる、視覚的表現のための簡単で有望なパラダイムを紹介します。コンテキスト クラスター (CoC) は、画像を整理されていない点のセットとして表示し、単純化されたクラスタリング アルゴリズムを介して特徴を抽出します。詳細には、各ポイントには生の特徴 (色など) と位置情報 (座標など) が含まれ、単純化されたクラスタリング アルゴリズムを使用して、深い特徴を階層的にグループ化および抽出します。私たちの CoC は、畳み込みや注意を必要とせず、空間相互作用についてはクラスタリング アルゴリズムのみに依存しています。シンプルな設計により、クラスタリングプロセスの視覚化により、CoCが満足のいく解釈可能性を与えることを示します。私たちの CoC は、画像と視覚表現に関する新しい視点を提供することを目的としています。これは、さまざまな分野で幅広いアプリケーションを楽しみ、深い洞察を示す可能性があります。私たちは SOTA のパフォーマンスを目標としていませんが、COC はいくつかのベンチマークで ConvNets や ViTs と同等またはそれ以上の結果を達成しています。コードは https://github.com/ma-xu/Context-Cluster で入手できます。
What is an image and how to extract latent features? Convolutional Networks (ConvNets) consider an image as organized pixels in a rectangular shape and extract features via convolutional operation in local region; Vision Transformers (ViTs) treat an image as a sequence of patches and extract features via attention mechanism in a global range. In this work, we introduce a straightforward and promising paradigm for visual representation, which is called Context Clusters. Context clusters (CoCs) view an image as a set of unorganized points and extract features via simplified clustering algorithm. In detail, each point includes the raw feature (e.g., color) and positional information (e.g., coordinates), and a simplified clustering algorithm is employed to group and extract deep features hierarchically. Our CoCs are convolution- and attention-free, and only rely on clustering algorithm for spatial interaction. Owing to the simple design, we show CoCs endow gratifying interpretability via the visualization of clustering process. Our CoCs aim at providing a new perspective on image and visual representation, which may enjoy broad applications in different domains and exhibit profound insights. Even though we are not targeting SOTA performance, COCs still achieve comparable or even better results than ConvNets or ViTs on several benchmarks. Codes are available at: https://github.com/ma-xu/Context-Cluster.