arXiv reaDer
スケッチベースの画像検索のためのコンパクトで効果的な表現
Compact and Effective Representations for Sketch-based Image Retrieval
スケッチベースの画像検索(SBIR)は、コンピュータビジョンのコミュニティへの関心が高まっており、実際のアプリケーションに大きな影響を与えています。たとえば、SBIRは、ユーザーが購入する必要のあるものを描くだけでクエリを作成できるため、eコマース検索エンジンに大きなメリットをもたらします。しかし、高次元空間での検索作業の精度が高い現在の方法は、メモリ消費や時間処理などの側面に悪影響を及ぼします。コンパクトな表現を提案している著者もいますが、これらは低次元でのパフォーマンスを大幅に低下させます。したがって、この作業では、スケッチベースの画像検索のコンテキストでコンパクトな埋め込みを生成するための方法を評価するさまざまな結果を提示します。私たちの主な関心は、元の空間のローカル構造を維持することを目的とした戦略にあります。最近の教師なしローカルトポロジ保存次元削減方法UMAPは、私たちの要件に適合し、卓越したパフォーマンスを示し、SOTA方法によって達成される精度さえも向上させます。 2つの異なるデータセットで6つのメソッドを評価します。 Flickr15Kとeコマースのデータセットを使用しています。後者は、この作業のもう1つの貢献です。 UMAPを使用すると、16バイトの特徴ベクトルを使用して、精度を35%以上向上させることができます。
Sketch-based image retrieval (SBIR) has undergone an increasing interest in the community of computer vision bringing high impact in real applications. For instance, SBIR brings an increased benefit to eCommerce search engines because it allows users to formulate a query just by drawing what they need to buy. However, current methods showing high precision in retrieval work in a high dimensional space, which negatively affects aspects like memory consumption and time processing. Although some authors have also proposed compact representations, these drastically degrade the performance in a low dimension. Therefore in this work, we present different results of evaluating methods for producing compact embeddings in the context of sketch-based image retrieval. Our main interest is in strategies aiming to keep the local structure of the original space. The recent unsupervised local-topology preserving dimension reduction method UMAP fits our requirements and shows outstanding performance, improving even the precision achieved by SOTA methods. We evaluate six methods in two different datasets. We use Flickr15K and eCommerce datasets; the latter is another contribution of this work. We show that UMAP allows us to have feature vectors of 16 bytes improving precision by more than 35%.
updated: Tue Apr 20 2021 22:48:19 GMT+0000 (UTC)
published: Tue Apr 20 2021 22:48:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト