知識蒸留(KD)は、オブジェクト検出でコンパクトなモデルを学習する強力な機能を備えています。オブジェクト検出のための以前のKDメソッドは、ローカリゼーション情報の抽出が非効率的であるため、分類ロジットを模倣するのではなく、模倣領域内の深い特徴を模倣することに主に焦点を合わせています。本論文では、ローカリゼーションに関する知識蒸留プロセスを再定式化することにより、ローカリゼーション知識を教師から学生に効率的に伝達できる新しいローカリゼーション蒸留(LD)法を提示します。さらに、特定の領域のセマンティックおよびローカリゼーションの知識を選択的に抽出するのに役立つ、貴重なローカリゼーション領域の概念もヒューリスティックに紹介します。これら2つの新しいコンポーネントを組み合わせることで、ロジット模倣が機能の模倣よりも優れていることを初めて示します。ローカリゼーション知識の蒸留は、オブジェクト検出器を蒸留するためのセマンティック知識よりも重要で効率的です。私たちの蒸留スキームはシンプルで効果的であり、さまざまな高密度物体検出器に簡単に適用できます。実験によると、私たちのLDは、推論速度を犠牲にすることなく、COCOベンチマークで40.1から42.1までのシングルスケール1倍トレーニングスケジュールでGFocal-ResNet-50のAPスコアを高めることができます。ソースコードとトレーニング済みモデルは、https://github.com/HikariTJU/LDで公開されています。
Knowledge distillation (KD) has witnessed its powerful capability in learning compact models in object detection. Previous KD methods for object detection mostly focus on imitating deep features within the imitation regions instead of mimicking classification logits due to its inefficiency in distilling localization information. In this paper, by reformulating the knowledge distillation process on localization, we present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Moreover, we also heuristically introduce the concept of valuable localization region that can aid to selectively distill the semantic and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and localization knowledge distillation is more important and efficient than semantic knowledge for distilling object detectors. Our distillation scheme is simple as well as effective and can be easily applied to different dense object detectors. Experiments show that our LD can boost the AP score of GFocal-ResNet-50 with a single-scale 1× training schedule from 40.1 to 42.1 on the COCO benchmark without any sacrifice on the inference speed. Our source code and trained models are publicly available at https://github.com/HikariTJU/LD