一般化ゼロショット学習(GZSL)は、カテゴリ属性などの補助的なセマンティック情報を使用して新しいカテゴリを認識することを目的としています。この論文では、視覚的表現のクロスドメイン転送可能性とカテゴリ識別可能性を段階的に改善することにより、ドメインシフト問題の重大な問題、つまり、表示されているカテゴリと表示されていないカテゴリ間の混乱を処理します。 Dual Progressive Prototype Network(DPPN)という名前の私たちのアプローチは、属性とカテゴリのプロトタイプの視覚パターンをそれぞれ記録する2種類のプロトタイプを構築します。属性プロトタイプを使用すると、DPPNは属性関連のローカル領域を交互に検索し、対応する属性プロトタイプを更新して、正確な属性領域の対応を段階的に調査します。これにより、DPPNは、正確な属性ローカリゼーション機能を備えた視覚表現を生成できます。これにより、セマンティックと視覚の位置合わせと表現の転送可能性が向上します。さらに、プログレッシブ属性のローカリゼーションとともに、DPPNはさらに、カテゴリプロトタイプを複数のスペースに投影して、さまざまなカテゴリからの視覚的表現を段階的にはじき、カテゴリの識別性を高めます。属性とカテゴリの両方のプロトタイプは、統一されたフレームワークで共同で学習されます。これにより、DPPNの視覚的表現が転送可能で特徴的なものになります。 4つのベンチマークでの実験は、DPPNがGZSLのドメインシフトの問題を効果的に軽減することを証明しています。
Generalized Zero-Shot Learning (GZSL) aims to recognize new categories with auxiliary semantic information,e.g., category attributes. In this paper, we handle the critical issue of domain shift problem, i.e., confusion between seen and unseen categories, by progressively improving cross-domain transferability and category discriminability of visual representations. Our approach, named Dual Progressive Prototype Network (DPPN), constructs two types of prototypes that record prototypical visual patterns for attributes and categories, respectively. With attribute prototypes, DPPN alternately searches attribute-related local regions and updates corresponding attribute prototypes to progressively explore accurate attribute-region correspondence. This enables DPPN to produce visual representations with accurate attribute localization ability, which benefits the semantic-visual alignment and representation transferability. Besides, along with progressive attribute localization, DPPN further projects category prototypes into multiple spaces to progressively repel visual representations from different categories, which boosts category discriminability. Both attribute and category prototypes are collaboratively learned in a unified framework, which makes visual representations of DPPN transferable and distinctive. Experiments on four benchmarks prove that DPPN effectively alleviates the domain shift problem in GZSL.