arXiv reaDer
Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
  スケッチベースの画像検索(SBIR)は、実際のアプリケーションの広い範囲を暗示する重要な視覚問題として広く認識されています。最近、ゼロショット学習のより現実的で挑戦的な設定の下で、この問題を解決する研究の関心が生じています。この論文では、ゼロショットシナリオでの機能の埋め込みを改善する上で重要であることが示されているドメイン適応の観点からこの問題を調査します。 ImageNetの事前トレーニングモデルで開始し、SBIRベンチマークのトレーニングセットで微調整するフレームワークに基づいて、ImageNetから学習した豊富な識別機能など、以前に取得した知識を保存することの重要性を提唱します。モデルの伝達能力。この目的のために、セマンティックアウェアナレッジprEservation(SAKE)という名前のアプローチを設計します。これは、事前にトレーニングされたモデルを経済的な方法で微調整し、クラス間の関係などのセマンティック情報を活用して、知識保存の目標を達成します。 2つの拡張SBIRデータセットであるTU-BerlinとSketchyのゼロショット実験により、このアプローチの優れたパフォーマンスが検証されます。パフォーマンスの向上の大部分は、写真画像用のより適切に構造化されたフィーチャー埋め込みによるものであるため、広範な診断実験により、知識が保存されることでゼロショット設定でSBIRにメリットがあることが検証されます。コードはで入手できます。
Sketch-based image retrieval (SBIR) is widely recognized as an important vision problem which implies a wide range of real-world applications. Recently, research interests arise in solving this problem under the more realistic and challenging setting of zero-shot learning. In this paper, we investigate this problem from the viewpoint of domain adaptation which we show is critical in improving feature embedding in the zero-shot scenario. Based on a framework which starts with a pre-trained model on ImageNet and fine-tunes it on the training set of SBIR benchmark, we advocate the importance of preserving previously acquired knowledge, e.g., the rich discriminative features learned from ImageNet, to improve the model's transfer ability. For this purpose, we design an approach named Semantic-Aware Knowledge prEservation (SAKE), which fine-tunes the pre-trained model in an economical way and leverages semantic information, e.g., inter-class relationship, to achieve the goal of knowledge preservation. Zero-shot experiments on two extended SBIR datasets, TU-Berlin and Sketchy, verify the superior performance of our approach. Extensive diagnostic experiments validate that knowledge preserved benefits SBIR in zero-shot settings, as a large fraction of the performance gain is from the more properly structured feature embedding for photo images. Code is available at:
updated: Fri Sep 27 2019 18:14:45 GMT+0000 (UTC)
published: Fri Apr 05 2019 18:04:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト