ゼロ ショット スケッチ ベースの画像検索 (ZS-SBIR) は、挑戦的なクロス モーダル検索タスクです。従来技術では、クエリスケッチとギャラリー内の各画像との間の距離をソートすることによって検索が行われる。ただし、ドメイン ギャップとゼロ ショット設定により、ニューラル ネットワークの一般化が難しくなります。このホワイト ペーパーでは、ギャラリーの画像機能を利用するという新しい視点から課題に取り組みます。ギャラリー画像でクラスタリングを実行し、クラスターの重心を検索のプロキシとして使用する、Cluster-then-Retrieve (ClusterRetri) メソッドを提案します。さらに、画像とスケッチの特徴を共通のガウス分布に合わせてドメインギャップを減らすために、分布アライメント損失が提案されています。その単純さにもかかわらず、提案された方法は、一般的なデータセットで最先端の方法よりも大幅に優れています。たとえば、Sketchy および TU-Berlin データセットでの mAP@all の相対改善は最大 31% および 39% です。
Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) is a challenging cross-modal retrieval task. In prior arts, the retrieval is conducted by sorting the distance between the query sketch and each image in the gallery. However, the domain gap and the zero-shot setting make neural networks hard to generalize. This paper tackles the challenges from a new perspective: utilizing gallery image features. We propose a Cluster-then-Retrieve (ClusterRetri) method that performs clustering on the gallery images and uses the cluster centroids as proxies for retrieval. Furthermore, a distribution alignment loss is proposed to align the image and sketch features with a common Gaussian distribution, reducing the domain gap. Despite its simplicity, our proposed method outperforms the state-of-the-art methods by a large margin on popular datasets, e.g., up to 31% and 39% relative improvement of mAP@all on the Sketchy and TU-Berlin datasets.