トリプレット損失のあるシャムネットワークに基づくアーキテクチャは、画像ベースの類似性探索問題で卓越したパフォーマンスを示しています。このアプローチは、ポジティブ(関連性のある)アイテムとネガティブ(関連性のない)アイテムを区別しようとします。ただし、重大な弱点があります。クエリを指定すると、関連性の低いアイテムを区別できません。たとえば、特定のクエリと同じタイプで色やテクスチャが異なるアイテムは、多くの実際の検索アプリケーションにとって深刻な制限となる可能性があります。したがって、この作業では、前述の弱点を克服する4つ組ベースのアーキテクチャを提示します。さらに、カラースケッチベースの画像検索(CSBIR)問題に対処し、新しい最先端の結果を達成するために、Sketch-QNetと呼ばれるこの4つ組ネットワークのインスタンスを紹介します。
Architectures based on siamese networks with triplet loss have shown outstanding performance on the image-based similarity search problem. This approach attempts to discriminate between positive (relevant) and negative (irrelevant) items. However, it undergoes a critical weakness. Given a query, it cannot discriminate weakly relevant items, for instance, items of the same type but different color or texture as the given query, which could be a serious limitation for many real-world search applications. Therefore, in this work, we present a quadruplet-based architecture that overcomes the aforementioned weakness. Moreover, we present an instance of this quadruplet network, which we call Sketch-QNet, to deal with the color sketch-based image retrieval (CSBIR) problem, achieving new state-of-the-art results.