arXiv reaDer
Learning Compatible Embeddings
新しいモデルを展開するときに下位互換性を実現すると、コストを大幅に削減できます。また、本番環境のビジュアル検索システム用に既存のギャラリー画像の機能の再エンコードをバイパスすることもできます。以前の関連作業は通常、知識の蒸留で使用される損失を活用しており、パフォーマンスの低下を引き起こしたり、互換性を保証しなかったりする可能性があります。これらの問題に対処するために、クロスモデルの互換性と直接/順方向/逆方向の互換性のあるトレーニングの両方に適用できるLearning Compliance Embeddings(LCE)と呼ばれる一般的なフレームワークを提案します。私たちの互換性は、モデル間でクラスセンターを直接または変換を介して調整し、新しいモデルのよりコンパクトなクラス内分布を制限することによって実現されます。実験は、トレーニングデータセット、損失関数、ネットワークアーキテクチャ、機能の次元の変更などの広範なシナリオで実施され、LCEが精度のわずかな犠牲とモデルの互換性を効率的に実現することを示しています。コードはで入手できます。
Achieving backward compatibility when rolling out new models can highly reduce costs or even bypass feature re-encoding of existing gallery images for in-production visual retrieval systems. Previous related works usually leverage losses used in knowledge distillation which can cause performance degradations or not guarantee compatibility. To address these issues, we propose a general framework called Learning Compatible Embeddings (LCE) which is applicable for both cross model compatibility and compatible training in direct/forward/backward manners. Our compatibility is achieved by aligning class centers between models directly or via a transformation, and restricting more compact intra-class distributions for the new model. Experiments are conducted in extensive scenarios such as changes of training dataset, loss functions, network architectures as well as feature dimensions, and demonstrate that LCE efficiently enables model compatibility with marginal sacrifices of accuracies. The code will be available at
updated: Wed Aug 04 2021 10:48:41 GMT+0000 (UTC)
published: Wed Aug 04 2021 10:48:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト