画像分類での知識蒸留(KD)の成功にもかかわらず、知識を見つけるのが難しいため、オブジェクト検出にKDを適用することは依然として困難です。この論文では、必要な知識を見つけるために、インスタンス条件付き蒸留フレームワークを提案します。各インスタンスの知識を見つけるために、観測されたインスタンスを条件情報として使用し、検索プロセスをインスタンス条件付きデコードプロセスとして定式化します。具体的には、条件を指定する各インスタンスの情報をクエリとしてエンコードし、教師の情報をキーとして提示し、クエリとキーの間の注意を使用して、トランスフォーマーデコーダーによって定式化された相関を測定します。このモジュールをガイドするために、検出の基本であるインスタンスのローカリゼーションと識別を指示する補助タスクをさらに紹介します。広範な実験により、私たちの方法の有効性が実証されています。さまざまな設定で目覚ましい改善が見られます。特に、ResNet-50バックボーンを備えたRetinaNetを1xスケジュールで37.4から40.7 mAP(+3.3)にブーストし、3xスケジュールでResNet-101バックボーンを備えた教師(40.4 mAP)を上回っています。コードはまもなくリリースされます。
Despite the success of Knowledge Distillation (KD) on image classification, it is still challenging to apply KD on object detection due to the difficulty in locating knowledge. In this paper, we propose an instance-conditional distillation framework to find desired knowledge. To locate knowledge of each instance, we use observed instances as condition information and formulate the retrieval process as an instance-conditional decoding process. Specifically, information of each instance that specifies a condition is encoded as query, and teacher's information is presented as key, we use the attention between query and key to measure the correlation, formulated by the transformer decoder. To guide this module, we further introduce an auxiliary task that directs to instance localization and identification, which are fundamental for detection. Extensive experiments demonstrate the efficacy of our method: we observe impressive improvements under various settings. Notably, we boost RetinaNet with ResNet-50 backbone from 37.4 to 40.7 mAP (+3.3) under 1x schedule, that even surpasses the teacher (40.4 mAP) with ResNet-101 backbone under 3x schedule. Code will be released soon.