arXiv reaDer
DETRDistill: DETR ファミリーのための普遍的な知識抽出フレームワーク
DETRDistill: A Universal Knowledge Distillation Framework for DETR-families
変圧器ベースの検出器 (DETR) は、その単純なフレームワークで人気が高まっていますが、モデルのサイズが大きく、時間がかかるため、現実世界での展開が妨げられています。知識蒸留 (KD) は、巨大な検出器を小さな検出器に圧縮して、同等の検出性能と低い推論コストを実現する魅力的な手法になる可能性があります。 DETR はオブジェクト検出をセット予測問題として定式化するため、従来の畳み込みベースの検出器用に設計された既存の KD メソッドは直接適用できない場合があります。この論文では、DETRファミリー専用の新しい知識蒸留法であるDETRDistillを提案します。具体的には、最初にハンガリー語対応ロジット蒸留を設計して、学生モデルが教師の DETR と同じ正確な予測を持つようにします。次に、学生モデルが教師モデルのオブジェクト中心の機能から学習するのを助けるために、ターゲットを意識した機能蒸留を提案します。最後に、生徒の DETR の収束率を向上させるために、クエリ事前割り当て蒸留を導入して、よく訓練されたクエリと教師モデルの安定した割り当てから学習する生徒モデルを高速化します。 COCO データセットに関する広範な実験結果は、私たちのアプローチの有効性を検証します。特に、DETRDistill はさまざまな DETR を一貫して 2.0 mAP 以上改善し、教師モデルをも上回っています。
Transformer-based detectors (DETRs) are becoming popular for their simple framework, but the large model size and heavy time consumption hinder their deployment in the real world. While knowledge distillation (KD) can be an appealing technique to compress giant detectors into small ones for comparable detection performance and low inference cost. Since DETRs formulate object detection as a set prediction problem, existing KD methods designed for classic convolution-based detectors may not be directly applicable. In this paper, we propose DETRDistill, a novel knowledge distillation method dedicated to DETR-families. Specifically, we first design a Hungarian-matching logits distillation to encourage the student model to have the exact predictions as that of teacher DETRs. Next, we propose a target-aware feature distillation to help the student model learn from the object-centric features of the teacher model. Finally, in order to improve the convergence rate of the student DETR, we introduce a query-prior assignment distillation to speed up the student model learning from well-trained queries and stable assignment of the teacher model. Extensive experimental results on the COCO dataset validate the effectiveness of our approach. Notably, DETRDistill consistently improves various DETRs by more than 2.0 mAP, even surpassing their teacher models.
updated: Fri Mar 17 2023 03:20:06 GMT+0000 (UTC)
published: Thu Nov 17 2022 13:35:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト