知識蒸留(KD)は、深層学習の分野でコンパクトなモデルを学習する強力な能力を目の当たりにしてきましたが、オブジェクト検出のためのローカリゼーション情報の抽出にはまだ限界があります。オブジェクト検出のための既存のKDメソッドは、主に教師モデルと学生モデルの間の深い特徴を模倣することに焦点を当てています。これは、特定のモデルアーキテクチャによって制限されるだけでなく、ローカリゼーションのあいまいさを抽出することもできません。本論文では、まず物体検出のための局在蒸留(LD)を提案する。特に、バウンディングボックスの一般的なローカリゼーション表現を採用することで、LDを標準KDとして定式化できます。私たちのLDは非常に柔軟性があり、教師モデルと学生モデルの任意のアーキテクチャのローカリゼーションのあいまいさを抽出するために適用できます。さらに、Self-LD、つまり教師モデル自体を蒸留することで、最先端のパフォーマンスをさらに高めることができることを発見するのは興味深いことです。次に、教師モデルと学生モデルの間のギャップを埋めるための教師アシスタント(TA)戦略を提案します。これにより、選択した教師モデルが最適でなくても蒸留効果を保証できます。ベンチマークデータセットPASCALVOCおよびMSCOCOでは、LDは学生検出器のパフォーマンスを一貫して向上させ、最先端の検出器を大幅に向上させます。ソースコードとトレーニング済みモデルは、https://github.com/HikariTJU/LDで公開されています。
Knowledge distillation (KD) has witnessed its powerful ability in learning compact models in deep learning field, but it is still limited in distilling localization information for object detection. Existing KD methods for object detection mainly focus on mimicking deep features between teacher model and student model, which not only is restricted by specific model architectures, but also cannot distill localization ambiguity. In this paper, we first propose localization distillation (LD) for object detection. In particular, our LD can be formulated as standard KD by adopting the general localization representation of bounding box. Our LD is very flexible, and is applicable to distill localization ambiguity for arbitrary architecture of teacher model and student model. Moreover, it is interesting to find that Self-LD, i.e., distilling teacher model itself, can further boost state-of-the-art performance. Second, we suggest a teacher assistant (TA) strategy to fill the possible gap between teacher model and student model, by which the distillation effectiveness can be guaranteed even the selected teacher model is not optimal. On benchmark datasets PASCAL VOC and MS COCO, our LD can consistently improve the performance for student detectors, and also boosts state-of-the-art detectors notably. Our source code and trained models are publicly available at https://github.com/HikariTJU/LD