あるモデルでの画像表現と別のモデルでの画像表現との間のマッピングは、多様なモデル間であっても、線形層だけで驚くほどうまく学習できることが観察されています。この観察に基づいて、固定の事前トレーニング済みモデルからの特徴が CLIP 空間に線形に整列され、CLIP のテキスト エンコーダーからのテキスト埋め込みが整列された特徴と直接比較できるようになる、テキストから概念への提案を提案します。 text-to-concept では、固定の既製ビジョン エンコーダを驚くほど強力なゼロショット分類子に無料で変換します。その精度は、はるかに小さいモデルであり、ごく一部のクラスでトレーニングされているにもかかわらず、CLIP の精度を上回る場合もあります。 CLIP と比較したデータ。コンセプトの監視なしでコンセプトのボトルネック モデルを構築すること、人間のコンセプトの観点から分布の変化を診断すること、一連のテキストベースの制約を満たす画像を取得することなど、テキストからコンセプトへの他の即時使用例を示します。最後に、コンセプトからテキストへの変換の実現可能性を示します。この場合、モデルの特徴空間内のベクトルは、GPT ベースの生成モデルに供給される前に、最初に CLIP に位置合わせすることによってデコードされます。私たちの研究は、おそらく多様なアーキテクチャとトレーニングを備えた既存のディープモデルが入力サンプルを比較的類似して表現しており、モデル表現空間を越えて人間と(言語を介して)双方向コミュニケーションが可能であることを示唆しています。
We observe that the mapping between an image's representation in one model to its representation in another can be learned surprisingly well with just a linear layer, even across diverse models. Building on this observation, we propose text-to-concept, where features from a fixed pretrained model are aligned linearly to the CLIP space, so that text embeddings from CLIP's text encoder become directly comparable to the aligned features. With text-to-concept, we convert fixed off-the-shelf vision encoders to surprisingly strong zero-shot classifiers for free, with accuracy at times even surpassing that of CLIP, despite being much smaller models and trained on a small fraction of the data compared to CLIP. We show other immediate use-cases of text-to-concept, like building concept bottleneck models with no concept supervision, diagnosing distribution shifts in terms of human concepts, and retrieving images satisfying a set of text-based constraints. Lastly, we demonstrate the feasibility of concept-to-text, where vectors in a model's feature space are decoded by first aligning to the CLIP before being fed to a GPT-based generative model. Our work suggests existing deep models, with presumably diverse architectures and training, represent input samples relatively similarly, and a two-way communication across model representation spaces and to humans (through language) is viable.