arXiv reaDer
ゼロショットスケッチベースの画像検索のための効率的なフレームワーク
An Efficient Framework for Zero-Shot Sketch-Based Image Retrieval
最近、ゼロショットスケッチベースの画像検索(ZS-SBIR)は、実際のアプリケーションと、SBIRに見られるよりも現実的でやりがいのある設定により、コンピュータービジョンコミュニティの注目を集めています。 ZS-SBIRは、コンテンツベースの画像検索(CBIR)、ゼロショット学習、ドメイン適応など、複数のコンピュータービジョン問題の主な課題を継承しています。ディープニューラルネットワークを使用したこれまでの研究の大部分は、スケッチと画像を共通の低次元空間に投影するか、知識を見えるクラスから見えないクラスに転送することで、改善された結果を達成しています。ただし、これらのアプローチは、複数の深い畳み込みニューラルネットワーク(CNN)で構成される複雑なフレームワークでトレーニングされており、カテゴリレベルの単語ラベルに依存しています。これにより、トレーニングリソースとデータセットの要件が増加します。比較すると、高度な計算トレーニングリソースを必要とせず、セマンティックカテゴリラベルなしでデータセットでトレーニングできるシンプルで効率的なフレームワークを提案します。さらに、トレーニングと推論の段階では、私たちの方法は単一のCNNのみを使用します。この作業では、事前にトレーニングされたImageNet CNN(ResNet50など)が、ドメイン認識の4つ組の損失、意味分類の損失、および意味知識の保存の損失という3つの提案された学習オブジェクトで微調整されます。 ZS-SBIRをオブジェクトの検出および検証の問題と見なすことにより、識別、意味、およびドメイン不変の機能を学習するために、ドメイン対応の4つ組および意味分類の損失が導入されます。 ..。
Recently, Zero-shot Sketch-based Image Retrieval (ZS-SBIR) has attracted the attention of the computer vision community due to it's real-world applications, and the more realistic and challenging setting than found in SBIR. ZS-SBIR inherits the main challenges of multiple computer vision problems including content-based Image Retrieval (CBIR), zero-shot learning and domain adaptation. The majority of previous studies using deep neural networks have achieved improved results through either projecting sketch and images into a common low-dimensional space or transferring knowledge from seen to unseen classes. However, those approaches are trained with complex frameworks composed of multiple deep convolutional neural networks (CNNs) and are dependent on category-level word labels. This increases the requirements on training resources and datasets. In comparison, we propose a simple and efficient framework that does not require high computational training resources, and can be trained on datasets without semantic categorical labels. Furthermore, at training and inference stages our method only uses a single CNN. In this work, a pre-trained ImageNet CNN (e.g., ResNet50) is fine-tuned with three proposed learning objects: domain-aware quadruplet loss, semantic classification loss, and semantic knowledge preservation loss. The domain-aware quadruplet and semantic classification losses are introduced to learn discriminative, semantic and domain invariant features through considering ZS-SBIR as object detection and verification problem. ...
updated: Mon Feb 08 2021 06:10:37 GMT+0000 (UTC)
published: Mon Feb 08 2021 06:10:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト