この論文では、コンパクトな 3D 検出器のための知識蒸留 (KD) の開発に焦点を当てます。既製の KD 手法は、教師モデルと対応する生徒モデルが同様の中間特徴表現を共有する場合にのみ有効性を発揮することが観察されています。これは、主に 3D 点群の固有のまばらさと不規則性によって重大な表現の差異が生じる非常にコンパクトな 3D 検出器の構築において、なぜそれらがあまり効果的でないのかを説明する可能性があります。この論文では、表現格差の問題に対処し、コンパクトな生徒と過剰にパラメータ化された教師の間のパフォーマンスのギャップを削減するための、新しい表現格差を意識した蒸留 (RDD) 手法を紹介します。これは、情報ボトルネック (IB) の革新的な観点から RDD を構築することで実現され、特徴とロジットにおける生徒と教師の提案領域ペアの差異を効果的に最小限に抑えることができます。既存の KD 手法に対する当社の RDD の優位性を実証するために、広範な実験が行われています。たとえば、当社の RDD は、nuScenes データセット上で CP-Voxel-S の mAP を 57.1% に増加させます。これは、わずか 42% の FLOP を使用しながら教師のパフォーマンスをも上回ります。
In this paper, we focus on developing knowledge distillation (KD) for compact 3D detectors. We observe that off-the-shelf KD methods manifest their efficacy only when the teacher model and student counterpart share similar intermediate feature representations. This might explain why they are less effective in building extreme-compact 3D detectors where significant representation disparity arises due primarily to the intrinsic sparsity and irregularity in 3D point clouds. This paper presents a novel representation disparity-aware distillation (RDD) method to address the representation disparity issue and reduce performance gap between compact students and over-parameterized teachers. This is accomplished by building our RDD from an innovative perspective of information bottleneck (IB), which can effectively minimize the disparity of proposal region pairs from student and teacher in features and logits. Extensive experiments are performed to demonstrate the superiority of our RDD over existing KD methods. For example, our RDD increases mAP of CP-Voxel-S to 57.1% on nuScenes dataset, which even surpasses teacher performance while taking up only 42% FLOPs.