ゼロショット学習モデルは、トレーニング中には見られなかったクラスのサンプルの画像分類において顕著な結果を達成します。ただし、そのようなモデルは特殊な方法で最初からトレーニングする必要があるため、ゼロショット分類の必要性が生じた場合にはトレーニング データセットにアクセスする必要があります。この論文では、画像データを使用せずに、事前トレーニングされたモデルにゼロショット分類機能を装備することを目指しています。これは、画像データに依存せずに、新しい未確認のクラスの分類子を事前トレーニングされた分類モデルに事後的に注入する、私たちが提案する Image-free Classifier Injection with Semantics (ICIS) によって実現されます。代わりに、既存の分類子の重みと、クラス名や属性などの単純なクラスごとの記述子が使用されます。 ICIS には 2 つのエンコーダ/デコーダ ネットワークがあり、記述子から分類器の重みを再構築する (またはその逆) ことを学習し、(クロス) 再構築とコサイン損失を利用してデコード プロセスを正規化します。特に、ICIS は低コストでトレーニングし、事前トレーニングされた分類モデル上に直接適用できます。ベンチマーク ZSL データセットの実験では、ICIS が強力な (一般化された) ゼロショット分類パフォーマンスを達成する目に見えない分類子の重みを生成することが示されています。コードは https://github.com/ExplainableML/ImageFreeZSL で入手できます。
Zero-shot learning models achieve remarkable results on image classification for samples from classes that were not seen during training. However, such models must be trained from scratch with specialised methods: therefore, access to a training dataset is required when the need for zero-shot classification arises. In this paper, we aim to equip pre-trained models with zero-shot classification capabilities without the use of image data. We achieve this with our proposed Image-free Classifier Injection with Semantics (ICIS) that injects classifiers for new, unseen classes into pre-trained classification models in a post-hoc fashion without relying on image data. Instead, the existing classifier weights and simple class-wise descriptors, such as class names or attributes, are used. ICIS has two encoder-decoder networks that learn to reconstruct classifier weights from descriptors (and vice versa), exploiting (cross-)reconstruction and cosine losses to regularise the decoding process. Notably, ICIS can be cheaply trained and applied directly on top of pre-trained classification models. Experiments on benchmark ZSL datasets show that ICIS produces unseen classifier weights that achieve strong (generalised) zero-shot classification performance. Code is available at https://github.com/ExplainableML/ImageFreeZSL .