arXiv reaDer
ゼロショット学習のための属性プロトタイプネットワーク
Attribute Prototype Network for Zero-Shot Learning
ゼロショット学習研究の当初から、視覚的属性が重要な役割を果たすことが示されてきました。属性ベースの知識を既知のクラスから未知のクラスに適切に転送するために、統合された属性ローカリゼーション機能を備えた画像表現がゼロショット学習に有益であると主張します。この目的のために、クラスレベルの属性のみを使用して、識別可能なグローバルおよびローカルの特徴を共同で学習する、新しいゼロショット表現学習フレームワークを提案します。視覚的意味の埋め込み層はグローバルな特徴を学習しますが、ローカルな特徴は、中間の特徴から属性を同時に回帰および非相関化する属性プロトタイプネットワークを通じて学習されます。私たちの局所性拡張画像表現が、3つのゼロショット学習ベンチマークで新しい最先端を達成することを示します。追加の利点として、私たちのモデルは、たとえばCUBデータセットの場合、画像内の属性の視覚的証拠を示し、画像表現の改善された属性ローカリゼーション機能を確認します。
From the beginning of zero-shot learning research, visual attributes have been shown to play an important role. In order to better transfer attribute-based knowledge from known to unknown classes, we argue that an image representation with integrated attribute localization ability would be beneficial for zero-shot learning. To this end, we propose a novel zero-shot representation learning framework that jointly learns discriminative global and local features using only class-level attributes. While a visual-semantic embedding layer learns global features, local features are learned through an attribute prototype network that simultaneously regresses and decorrelates attributes from intermediate features. We show that our locality augmented image representations achieve a new state-of-the-art on three zero-shot learning benchmarks. As an additional benefit, our model points to the visual evidence of the attributes in an image, e.g. for the CUB dataset, confirming the improved attribute localization ability of our image representation.
updated: Thu Jan 07 2021 02:26:42 GMT+0000 (UTC)
published: Wed Aug 19 2020 06:46:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト