深層学習モデルは物体検出において目覚ましい成功を収めていますが、その複雑さと計算量が現実世界のアプリケーション (自動運転認識など) に展開する際の障壁となっています。知識の蒸留 (KD) は、効率的なモデルを導き出す効果的な方法です。ただし、少数の KD メソッドのみがオブジェクト検出に取り組んでいます。また、それらのほとんどは、教師モデルの単純な機能を模倣することに焦点を当てていますが、機能が最終的な検出にどのように貢献するかについてはほとんど考慮していません.この論文では、Gradient-guided Knowledge Distillation (GKD) と名付けられた、オブジェクト検出における知識蒸留の新しいアプローチを提案します。当社の GKD は勾配情報を使用して、検出の損失に大きな影響を与える特徴を特定してより多くの重みを割り当てることで、学生が最も関連性の高い特徴を教師から学ぶことができるようにします。さらに、KD のパフォーマンスをさらに向上させるために、バウンディング ボックスに対応したマルチグレイン機能模倣 (BMFI) を提示します。 KITTI および COCO-Traffic データセットでの実験は、オブジェクト検出のための知識の抽出におけるこの方法の有効性を示しています。 1 段階および 2 段階の検出器では、当社の GKD-BMFI はそれぞれ平均 5.1% および 3.8% の mAP 改善をもたらし、さまざまな最先端の KD 法を打ち負かしています。
Deep learning models have demonstrated remarkable success in object detection, yet their complexity and computational intensity pose a barrier to deploying them in real-world applications (e.g., self-driving perception). Knowledge Distillation (KD) is an effective way to derive efficient models. However, only a small number of KD methods tackle object detection. Also, most of them focus on mimicking the plain features of the teacher model but rarely consider how the features contribute to the final detection. In this paper, we propose a novel approach for knowledge distillation in object detection, named Gradient-guided Knowledge Distillation (GKD). Our GKD uses gradient information to identify and assign more weights to features that significantly impact the detection loss, allowing the student to learn the most relevant features from the teacher. Furthermore, we present bounding-box-aware multi-grained feature imitation (BMFI) to further improve the KD performance. Experiments on the KITTI and COCO-Traffic datasets demonstrate our method's efficacy in knowledge distillation for object detection. On one-stage and two-stage detectors, our GKD-BMFI leads to an average of 5.1% and 3.8% mAP improvement, respectively, beating various state-of-the-art KD methods.