arXiv reaDer
Domain-Aware SE Network for Sketch-based Image Retrieval with Multiplicative Euclidean Margin Softmax
この論文は、スケッチベースの画像検索(SBIR)の新しいアプローチを提案します。そのための鍵は、データ表現の観点からスケッチと写真の間のギャップを埋めることです。近年調査されたチャネルごとの注意に触発されて、サンプルスケッチまたは写真の事前知識をSEモジュールにシームレスに組み込み、SEモジュールが適切なものを強調できるようにするドメイン認識スクイーズアンドエキサイト(DASE)ネットワークを紹介します。ドメイン信号に応じたチャネル。したがって、提案されたネットワークは、そのモードを切り替えて、クラス内の不一致が少ない、より優れたドメイン機能を実現できます。さらに、以前の作業は単にクラス内距離の最小化とクラス間距離の最大化に焦点を当てていましたが、乗法ユークリッドマージンを特徴空間に導入し、最大のユークリッドマージンを確保するMultiplicative Euclidean Margin Softmax(MEMS)という名前の損失関数を導入します。クラス距離が最小クラス間距離よりも小さい。これにより、識別性の高い特徴空間の学習が容易になり、より正確な画像検索結果が保証されます。広く使用されている2つのSBIRベンチマークデータセットで広範な実験が行われます。私たちのアプローチは、両方のデータセットでより良い結果を達成し、最先端の方法を大幅に上回っています。
This paper proposes a novel approach for Sketch-Based Image Retrieval (SBIR), for which the key is to bridge the gap between sketches and photos in terms of the data representation. Inspired by channel-wise attention explored in recent years, we present a Domain-Aware Squeeze-and-Excitation (DASE) network, which seamlessly incorporates the prior knowledge of sample sketch or photo into SE module and make the SE module capable of emphasizing appropriate channels according to domain signal. Accordingly, the proposed network can switch its mode to achieve a better domain feature with lower intra-class discrepancy. Moreover, while previous works simply focus on minimizing intra-class distance and maximizing inter-class distance, we introduce a loss function, named Multiplicative Euclidean Margin Softmax (MEMS), which introduces multiplicative Euclidean margin into feature space and ensure that the maximum intra-class distance is smaller than the minimum inter-class distance. This facilitates learning a highly discriminative feature space and ensures a more accurate image retrieval result. Extensive experiments are conducted on two widely used SBIR benchmark datasets. Our approach achieves better results on both datasets, surpassing the state-of-the-art methods by a large margin.
updated: Mon Jul 26 2021 05:44:41 GMT+0000 (UTC)
published: Tue Dec 11 2018 08:57:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト