ディープメトリック学習は、入力データを埋め込みスペースに変換することを目的としています。埋め込みスペースでは、類似したサンプルは近くにあり、異なるサンプルは互いに遠く離れています。実際には、新しいカテゴリのサンプルが段階的に到着するため、学習したモデルを定期的に拡張する必要があります。新しいカテゴリを微調整すると、通常、古いカテゴリのパフォーマンスが低下します。これは、「壊滅的な忘却」として知られています。既存のソリューションは、モデルを最初から再トレーニングするか、トレーニング中に古いサンプルを再生する必要があります。この論文では、完全なオンラインディープメトリック学習フレームワークが、1タスクシナリオとマルチタスクシナリオの両方の相互蒸留に基づいて提案されています。教師と生徒のフレームワークとは異なり、提案されたアプローチでは、新旧の学習タスクを同等の重要性で扱います。古い知識や新しい知識よりも優先されることはありません。さらに、古いモデルによって抽出されたと想定される特徴を復元するために、新しい仮想特徴推定アプローチが提案されています。これにより、古いトレーニングサンプルを再生したり、トレーニング中に古いモデルを保持したりすることなく、新しいモデルと古いモデルの間で蒸留を行うことができます。包括的な研究は、さまざまなバックボーンのサポートによる私たちのアプローチの優れたパフォーマンスを示しています。
Deep metric learning aims to transform input data into an embedding space, where similar samples are close while dissimilar samples are far apart from each other. In practice, samples of new categories arrive incrementally, which requires the periodical augmentation of the learned model. The fine-tuning on the new categories usually leads to poor performance on the old, which is known as "catastrophic forgetting". Existing solutions either retrain the model from scratch or require the replay of old samples during the training. In this paper, a complete online deep metric learning framework is proposed based on mutual distillation for both one-task and multi-task scenarios. Different from the teacher-student framework, the proposed approach treats the old and new learning tasks with equal importance. No preference over the old or new knowledge is caused. In addition, a novel virtual feature estimation approach is proposed to recover the features assumed to be extracted by the old models. It allows the distillation between the new and the old models without the replay of old training samples or the holding of old models during the training. A comprehensive study shows the superior performance of our approach with the support of different backbones.