ゼロショット学習(ZSL)の重要な課題は、見えているクラスの視覚的特徴と属性の特徴の間の潜在的な意味知識をどのように推測し、見えないクラスへの望ましい知識の伝達を実現するかです。以前の作品は、画像のグローバルな特徴を関連するクラスの意味ベクトルと単純に整列させるか、一方向の注意を利用して、視覚的特徴と属性の特徴の間の固有の意味知識(属性の意味など)を効果的に発見できなかった限られた潜在的な意味表現を学習します。上記のジレンマを解決するために、相互セマンティック蒸留ネットワーク(MSDN)を提案します。これは、ZSLの視覚的機能と属性機能の間の固有のセマンティック表現を段階的に抽出します。 MSDNには、属性ベースの視覚機能を学習する属性→視覚的注意サブネットと、視覚ベースの属性機能を学習する視覚→属性注意サブネットが組み込まれています。セマンティック蒸留損失をさらに導入することにより、2つの相互注意サブネットは、トレーニングプロセス全体を通じて、共同で学習し、互いに教えることができます。提案されたMSDNは、強力なベースラインを大幅に改善し、3つの人気のある挑戦的なベンチマーク、つまりCUB、SUN、およびAWA2で新しい最先端のパフォーマンスを実現します。私たちのコードはhttps://github.com/shiming-chen/MSDNで入手できます。
The key challenge of zero-shot learning (ZSL) is how to infer the latent semantic knowledge between visual and attribute features on seen classes, and thus achieving a desirable knowledge transfer to unseen classes. Prior works either simply align the global features of an image with its associated class semantic vector or utilize unidirectional attention to learn the limited latent semantic representations, which could not effectively discover the intrinsic semantic knowledge e.g., attribute semantics) between visual and attribute features. To solve the above dilemma, we propose a Mutually Semantic Distillation Network (MSDN), which progressively distills the intrinsic semantic representations between visual and attribute features for ZSL. MSDN incorporates an attribute→visual attention sub-net that learns attribute-based visual features, and a visual→attribute attention sub-net that learns visual-based attribute features. By further introducing a semantic distillation loss, the two mutual attention sub-nets are capable of learning collaboratively and teaching each other throughout the training process. The proposed MSDN yields significant improvements over the strong baselines, leading to new state-of-the-art performances on three popular challenging benchmarks, i.e., CUB, SUN, and AWA2. Our codes have been available at: https://github.com/shiming-chen/MSDN.