一般化されたゼロショット学習(GZSL)は、視覚と意味の領域のギャップと目に見えないバイアスの問題を克服することに専念する多くの努力により、大きな進歩を遂げました。ただし、ほとんどの既存の方法は、ImageNetとGZSLベンチマーク間のデータセット間のバイアスを無視して、ImageNetのみでトレーニングされた特徴抽出モデルを直接使用します。このようなバイアスは必然的にGZSLタスクの視覚的機能の品質を低下させ、見えているクラスと見えないクラスの両方で認識パフォーマンスを制限する可能性があります。本論文では、上記の問題に取り組むために、一般化ゼロショット学習(FREE)のための特徴改良と呼ばれる単純で効果的なGZSL法を提案する。 FREEは、セマンティック→ビジュアルマッピングを統合生成モデルに組み込んだ機能リファインメント(FR)モジュールを採用して、表示および非表示のクラスサンプルのビジュアル機能をリファインします。さらに、セマンティックサイクル整合性損失と連携してFRがクラスおよびセマンティック関連の表現を学習するようにガイドし、FRの機能を連結して完全に洗練された機能を抽出する、自己適応型マージンセンター損失(SAMC損失)を提案します。 。 5つのベンチマークデータセットでの広範な実験は、ベースラインおよび現在の最先端の方法を超えるFREEの大幅なパフォーマンスの向上を示しています。私たちのコードはhttps://github.com/shiming-chen/FREEで入手できます。
Generalized zero-shot learning (GZSL) has achieved significant progress, with many efforts dedicated to overcoming the problems of visual-semantic domain gap and seen-unseen bias. However, most existing methods directly use feature extraction models trained on ImageNet alone, ignoring the cross-dataset bias between ImageNet and GZSL benchmarks. Such a bias inevitably results in poor-quality visual features for GZSL tasks, which potentially limits the recognition performance on both seen and unseen classes. In this paper, we propose a simple yet effective GZSL method, termed feature refinement for generalized zero-shot learning (FREE), to tackle the above problem. FREE employs a feature refinement (FR) module that incorporates semantic→visual mapping into a unified generative model to refine the visual features of seen and unseen class samples. Furthermore, we propose a self-adaptive margin center loss (SAMC-loss) that cooperates with a semantic cycle-consistency loss to guide FR to learn class- and semantically-relevant representations, and concatenate the features in FR to extract the fully refined features. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of FREE over its baseline and current state-of-the-art methods. Our codes are available at https://github.com/shiming-chen/FREE .