arXiv reaDer
Dual-Tuning: Joint Prototype Transfer and Structure Regularization for Compatible Feature Learning
視覚的検索システムは、頻繁なモデルの更新と展開に直面しています。データベース全体の特徴を毎回再抽出するのは大変な作業です。特徴の互換性により、学習した新しい視覚的特徴をデータベースに保存されている古い特徴と直接比較できます。このようにして、デプロイされたモデルを更新するときに、柔軟性がなく時間のかかる機能の再抽出プロセスをバイパスできます。ただし、互換性が必要な古い特徴空間は理想的ではなく、さまざまな監視損失によって引き起こされる新しい空間との分布の不一致の問題に直面しています。この作業では、さまざまなネットワークと損失に対する機能の互換性を取得するために、グローバル最適化デュアルチューニング方法を提案します。グローバルプロトタイプ情報を転送することにより、2種類の埋め込み機能を明示的に調整するために、機能レベルのプロトタイプ損失が提案されています。さらに、コンポーネントレベルの相互構造正則化を設計して、機能の固有構造を暗黙的に最適化します。百万規模のデータセットでの実験結果は、デュアルチューニングがパフォーマンスを犠牲にすることなく機能の互換性を取得できることを示しています。 (私たちのコードはで入手できます)
Visual retrieval system faces frequent model update and deployment. It is a heavy workload to re-extract features of the whole database every time.Feature compatibility enables the learned new visual features to be directly compared with the old features stored in the database. In this way, when updating the deployed model, we can bypass the inflexible and time-consuming feature re-extraction process. However, the old feature space that needs to be compatible is not ideal and faces the distribution discrepancy problem with the new space caused by different supervision losses. In this work, we propose a global optimization Dual-Tuning method to obtain feature compatibility against different networks and losses. A feature-level prototype loss is proposed to explicitly align two types of embedding features, by transferring global prototype information. Furthermore, we design a component-level mutual structural regularization to implicitly optimize the feature intrinsic structure. Experimental results on million-scale datasets demonstrate that our Dual-Tuning is able to obtain feature compatibility without sacrificing performance. (Our code will be avaliable at
updated: Fri Aug 06 2021 06:39:41 GMT+0000 (UTC)
published: Fri Aug 06 2021 06:39:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト