ゼロショット学習(ZSL)では、観察されたときの予想される外観(クラスの埋め込み)に関するテキストの説明と、注釈付きの視覚データにアクセスできる見られたクラスの互いに素なプールを使用して、見えないカテゴリを分類します。 「バニラ」畳み込みニューラルネットワーク(AlexNet、ResNet-101、DenseNet-201、DarkNet-53など)をゼロショット学習器にキャストすることで、ZSLに取り組みます。これを行うには、softmax分類器を作成します。セマンティック(見られるクラスの埋め込み)またはビジュアル(見られるクラスのプロトタイプ)のいずれかの固定された見られる分類ルールを使用して、その重みを凍結します。次に、これらの固定分類ルールにのみ一致する、表示されたクラスでのデータ駆動型およびZSL調整済みの特徴表現を学習します。後者が目に見えないクラスにシームレスに一般化することを考えると、実際の目に見えないデータを計算する必要はありませんが、学習したのとまったく同じ表現を維持しながら、テスト時に分類ルールのプールを拡張することでZSL推論を実行できます。 -見えないデータの調整が実行されます。セマンティッククラフトとビジュアルクラフトの組み合わせ(単にsoftmaxスコアを平均化することによる)は、標準の誘導ZSLのベンチマークデータセットにおける以前の最先端の方法を改善します。予測のバランスを取り直して、表示されているクラスと表示されていないクラスの共同推論をより適切に処理した後、以前の一般化された帰納的ZSLメソッドよりも優れたパフォーマンスを発揮します。また、ニューラルアテンションメソッド(grad-CAMなど)をそのまま使用することで、追加費用なしで解釈可能性を得ることができます。コードは公開されます。
In Zero-shot learning (ZSL), we classify unseen categories using textual descriptions about their expected appearance when observed (class embeddings) and a disjoint pool of seen classes, for which annotated visual data are accessible. We tackle ZSL by casting a "vanilla" convolutional neural network (e.g. AlexNet, ResNet-101, DenseNet-201 or DarkNet-53) into a zero-shot learner. We do so by crafting the softmax classifier: we freeze its weights using fixed seen classification rules, either semantic (seen class embeddings) or visual (seen class prototypes). Then, we learn a data-driven and ZSL-tailored feature representation on seen classes only to match these fixed classification rules. Given that the latter seamlessly generalize towards unseen classes, while requiring not actual unseen data to be computed, we can perform ZSL inference by augmenting the pool of classification rules at test time while keeping the very same representation we learnt: nowhere re-training or fine-tuning on unseen data is performed. The combination of semantic and visual crafting (by simply averaging softmax scores) improves prior state-of-the-art methods in benchmark datasets for standard, inductive ZSL. After rebalancing predictions to better handle the joint inference over seen and unseen classes, we outperform prior generalized, inductive ZSL methods as well. Also, we gain interpretability at no additional cost, by using neural attention methods (e.g., grad-CAM) as they are. Code will be made publicly available.