arXiv reaDer
ゼロショット学習のための構造認識特徴生成
Structure-Aware Feature Generation for Zero-Shot Learning
ゼロショット学習(ZSL)は、属性の埋め込みなどの補助情報を活用して、見えないカテゴリを認識することを目的としています。有望な結果が得られたにもかかわらず、以前のZSLアプローチは、見たクラスの特徴の判別力の向上に焦点を合わせていますが、サンプルとプロトタイプの幾何学的構造を見落としていました。結果として、後続の属性ベースの生成的敵対的ネットワーク(GAN)も、サンプル生成のトポロジ情報を無視し、見えないクラスの視覚的特徴を分類する際のパフォーマンスがさらに低下します。この論文では、潜在空間と生成ネットワークの両方を学習する際のトポロジー構造を明示的に説明するために、SA-GANと呼ばれる新しい構造認識特徴生成スキームを紹介します。具体的には、識別潜在空間を学習するときに初期の幾何学的構造を保持するために制約損失を導入し、構造認識弁別器と再構成モジュールからの追加の監視信号を使用してGANトレーニングを実行します。前者の監督は、クラスプロトタイプへの親和性に基づいて偽のサンプルと実際のサンプルを区別し、後者は、生成された潜在空間から元の特徴空間を再構築することを目的としています。このトポロジー保存メカニズムにより、私たちの方法は、見えないクラスの一般化機能を大幅に強化し、その結果、分類パフォーマンスを向上させることができます。 4つのベンチマークでの実験は、提案されたアプローチが常に最新技術を上回っていることを示しています。私たちのコードは補足資料に記載されており、一般に公開される予定です。
Zero-Shot Learning (ZSL) targets at recognizing unseen categories by leveraging auxiliary information, such as attribute embedding. Despite the encouraging results achieved, prior ZSL approaches focus on improving the discriminant power of seen-class features, yet have largely overlooked the geometric structure of the samples and the prototypes. The subsequent attribute-based generative adversarial network (GAN), as a result, also neglects the topological information in sample generation and further yields inferior performances in classifying the visual features of unseen classes. In this paper, we introduce a novel structure-aware feature generation scheme, termed as SA-GAN, to explicitly account for the topological structure in learning both the latent space and the generative networks. Specifically, we introduce a constraint loss to preserve the initial geometric structure when learning a discriminative latent space, and carry out our GAN training with additional supervising signals from a structure-aware discriminator and a reconstruction module. The former supervision distinguishes fake and real samples based on their affinity to class prototypes, while the latter aims to reconstruct the original feature space from the generated latent space. This topology-preserving mechanism enables our method to significantly enhance the generalization capability on unseen-classes and consequently improve the classification performance. Experiments on four benchmarks demonstrate that the proposed approach consistently outperforms the state of the art. Our code can be found in the supplementary material and will also be made publicly available.
updated: Mon Aug 16 2021 11:52:08 GMT+0000 (UTC)
published: Mon Aug 16 2021 11:52:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト