arXiv reaDer
ゼロショットスケッチベースの画像検索のための3ストリーム共同ネットワーク
Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval
ゼロショットスケッチベースの画像検索(ZS-SBIR)は、スケッチと自然画像の間の大きなドメインギャップ、および表示されているカテゴリと表示されていないカテゴリの間のセマンティックの不一致のため、困難な作業です。以前の文献は、セマンティック埋め込みによって、表示されたカテゴリと表示されていないカテゴリを橋渡しします。これには、正確なクラス名と追加の抽出作業に関する事前の知識が必要です。そして、ほとんどの作品は、スケッチと自然な画像を、画像とスケッチの間の対になっていない情報を無視する構築されたスケッチと画像のペアを使用して、共通の高レベルの空間にマッピングすることにより、ドメインギャップを減らします。これらの問題に対処するために、この論文では、ZS-SBIRタスク用の新しい3ストリーム共同トレーニングネットワーク(3JOIN)を提案します。スケッチと画像のドメインの違いを狭めるために、自然画像のエッジマップを抽出し、画像とスケッチの間のブリッジとして扱います。これらは、画像と同様のコンテンツとスケッチと同様のスタイルを持っています。スケッチ、自然画像、エッジマップの十分な組み合わせを活用するために、新しい3ストリームの共同トレーニングネットワークが提案されています。さらに、教師ネットワークを使用して、他のセマンティクスを使用せずにサンプルの暗黙のセマンティクスを抽出し、学習した知識を見えないクラスに転送します。 2つの実世界のデータセットで実施された広範な実験は、提案された方法の優位性を示しています。
The Zero-Shot Sketch-based Image Retrieval (ZS-SBIR) is a challenging task because of the large domain gap between sketches and natural images as well as the semantic inconsistency between seen and unseen categories. Previous literature bridges seen and unseen categories by semantic embedding, which requires prior knowledge of the exact class names and additional extraction efforts. And most works reduce domain gap by mapping sketches and natural images into a common high-level space using constructed sketch-image pairs, which ignore the unpaired information between images and sketches. To address these issues, in this paper, we propose a novel Three-Stream Joint Training Network (3JOIN) for the ZS-SBIR task. To narrow the domain differences between sketches and images, we extract edge maps for natural images and treat them as a bridge between images and sketches, which have similar content to images and similar style to sketches. For exploiting a sufficient combination of sketches, natural images, and edge maps, a novel three-stream joint training network is proposed. In addition, we use a teacher network to extract the implicit semantics of the samples without the aid of other semantics and transfer the learned knowledge to unseen classes. Extensive experiments conducted on two real-world datasets demonstrate the superiority of our proposed method.
updated: Tue Apr 12 2022 09:52:17 GMT+0000 (UTC)
published: Tue Apr 12 2022 09:52:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト