arXiv reaDer
Learning with Memory-based Virtual Classes for Deep Metric Learning
ディープメトリックラーニング(DML)の中核には、高次元の埋め込み空間での視覚的な類似性の学習が含まれます。主な課題の1つは、トレーニングデータの表示されたクラスからテストデータの表示されていないクラスに一般化することです。最近の作業は、過去の埋め込みを利用して、表示されるクラスのインスタンスの数を増やすことに焦点を当てています。このようなメソッドは、拡張によってパフォーマンスの向上を実現しますが、見られるクラスに重点を置いたままです。これは、トレーニングデータとテストデータがまったく異なるクラスを示すDMLには望ましくない場合があります。この作業では、MemVirと呼ばれるDMLの新しいトレーニング戦略を紹介します。以前の作品とは異なり、MemVirは埋め込み機能とクラスの重みの両方を記憶して、それらを追加の仮想クラスとして利用します。仮想クラスの活用は、トレーニングのために拡張情報を利用するだけでなく、より一般化するために見られるクラスへの強い焦点を軽減します。さらに、仮想クラスをゆっくりと追加して学習の難易度を徐々に上げることでカリキュラム学習のアイデアを組み込み、学習の安定性と最終的なパフォーマンスを向上させます。 MemVirは、変更を加えることなく、既存の多くの損失関数に簡単に適用できます。有名なベンチマークでの広範な実験結果は、最先端の競合他社に対するMemVirの優位性を示しています。 MemVirのコードは公開されています。
The core of deep metric learning (DML) involves learning visual similarities in high-dimensional embedding space. One of the main challenges is to generalize from seen classes of training data to unseen classes of test data. Recent works have focused on exploiting past embeddings to increase the number of instances for the seen classes. Such methods achieve performance improvement via augmentation, while the strong focus on seen classes still remains. This can be undesirable for DML, where training and test data exhibit entirely different classes. In this work, we present a novel training strategy for DML called MemVir. Unlike previous works, MemVir memorizes both embedding features and class weights to utilize them as additional virtual classes. The exploitation of virtual classes not only utilizes augmented information for training but also alleviates a strong focus on seen classes for better generalization. Moreover, we embed the idea of curriculum learning by slowly adding virtual classes for a gradual increase in learning difficulty, which improves the learning stability as well as the final performance. MemVir can be easily applied to many existing loss functions without any modification. Extensive experimental results on famous benchmarks demonstrate the superiority of MemVir over state-of-the-art competitors. Code of MemVir is publicly available.
updated: Fri Oct 08 2021 06:04:36 GMT+0000 (UTC)
published: Wed Mar 31 2021 09:44:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト