arXiv reaDer
Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
  ゼロショットスケッチベースの画像検索(ZS-SBIR)は、ゼロショットシナリオでフリーハンドスケッチを使用して自然画像を検索するための特定のクロスモーダル検索タスクです。以前の作品は、主に画像とスケッチ間の対応のモデリング、またはスケッチフィーチャと画像フィーチャの合成に焦点を当てていました。ただし、どちらもスケッチのクラス内の大きな変動を無視するため、検索パフォーマンスが不十分になります。本稿では、ZS-SBIRの新しいエンドツーエンドのセマンティック敵対アプローチを提案します。具体的には、学習したセマンティックフィーチャとカテゴリレベルの単語ベクトル間の一貫性を最大化するために、セマンティック敵対モジュールを考案します。さらに、各トレーニングカテゴリ内で合成された特徴の識別可能性を保持するために、生成モジュールにトリプレット損失が採用されています。さらに、提案されたモデルは、ZS-SBIRに適したより優れたセマンティック機能を活用するために、エンドツーエンド戦略でトレーニングされます。 2つの大規模な人気のあるデータセットで行われた広範な実験は、提案されたアプローチが、Sketchyデータセットで12 \%以上、TU-Berlinデータセットで約3 \%だけ検索で最先端のアプローチよりも優れていることを示しています。
Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for retrieving natural images with free-hand sketches under zero-shot scenario. Previous works mostly focus on modeling the correspondence between images and sketches or synthesizing image features with sketch features. However, both of them ignore the large intra-class variance of sketches, thus resulting in unsatisfactory retrieval performance. In this paper, we propose a novel end-to-end semantic adversarial approach for ZS-SBIR. Specifically, we devise a semantic adversarial module to maximize the consistency between learned semantic features and category-level word vectors. Moreover, to preserve the discriminability of synthesized features within each training category, a triplet loss is employed for the generative module. Additionally, the proposed model is trained in an end-to-end strategy to exploit better semantic features suitable for ZS-SBIR. Extensive experiments conducted on two large-scale popular datasets demonstrate that our proposed approach remarkably outperforms state-of-the-art approaches by more than 12\% on Sketchy dataset and about 3\% on TU-Berlin dataset in the retrieval.
updated: Fri Oct 18 2019 02:49:59 GMT+0000 (UTC)
published: Tue May 07 2019 02:20:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト