arXiv reaDer
Open Cross-Domain Visual Search
このペーパーでは、クロスドメインビジュアル検索について説明します。ビジュアルクエリは、異なるドメインからカテゴリサンプルを取得します。たとえば、飛行機をスケッチして、飛行機の写真を取得したい場合があります。かなりの進歩にもかかわらず、検索は2つの定義済みドメイン間の閉じた設定で行われます。このペーパーでは、複数のビジュアルドメインを利用できるオープンな設定に向けて一歩を踏み出しました。これは特に、ドメインの組み合わせから、または複数のドメイン内で、ドメインのペア間の検索に変換されます。シンプルでありながら効果的なアプローチを紹介します。すべての視覚ドメインから共通の意味空間へのマッピングとして検索を定式化します。ここで、カテゴリーは超球プロトタイプによって表されます。次に、どのドメインがソースまたはターゲットとして使用されているかに関係なく、共通の意味空間で検索することにより、オープンドメイン間ビジュアル検索が実行されます。複数のドメインから、または複数のドメイン内を同時に検索するために、ドメインは共通スペースで結合されます。すべてのドメイン固有のマッピング関数の個別のトレーニングにより、検索パフォーマンスに影響を与えることなく、任意の数のドメインに効率的にスケーリングできます。 3つの異なるシナリオでクロスドメインのオープンビジュアル検索を実行する機能を経験的に示します。私たちのアプローチは、3つのスケッチベースの検索タスクのいくつかのベンチマークで最先端の結果を得る既存のクローズド設定に関して競争力があります。
This paper addresses cross-domain visual search, where visual queries retrieve category samples from a different domain. For example, we may want to sketch an airplane and retrieve photographs of airplanes. Despite considerable progress, the search occurs in a closed setting between two pre-defined domains. In this paper, we make the step towards an open setting where multiple visual domains are available. This notably translates into a search between any pair of domains, from a combination of domains or within multiple domains. We introduce a simple -- yet effective -- approach. We formulate the search as a mapping from every visual domain to a common semantic space, where categories are represented by hyperspherical prototypes. Open cross-domain visual search is then performed by searching in the common semantic space, regardless of which domains are used as source or target. Domains are combined in the common space to search from or within multiple domains simultaneously. A separate training of every domain-specific mapping function enables an efficient scaling to any number of domains without affecting the search performance. We empirically illustrate our capability to perform open cross-domain visual search in three different scenarios. Our approach is competitive with respect to existing closed settings, where we obtain state-of-the-art results on several benchmarks for three sketch-based search tasks.
updated: Tue Jul 28 2020 13:36:23 GMT+0000 (UTC)
published: Tue Nov 19 2019 22:42:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト