セマンティックセグメンテーションのための現在の知識蒸留(KD)メソッドは、多くの場合、個々のデータサンプルから生成された教師の構造化された情報を模倣するように生徒を導きます。ただし、KDにとって価値のあるさまざまな画像にわたるピクセル間のグローバルな意味関係を無視します。この論文は、画像全体の間で構造化されたピクセル間およびピクセル対領域の関係を転送することに焦点を当てた、新しいクロスイメージリレーショナルKD(CIRKD)を提案します。その動機は、優れた教師ネットワークが、グローバルなピクセル依存性の観点から、適切に構造化された機能空間を構築できることです。 CIRKDを使用すると、生徒は教師からのより構造化された意味関係を模倣できるため、セグメンテーションのパフォーマンスが向上します。 Cityscapes、CamVid、およびPascal VOCデータセットに関する実験結果は、最先端の蒸留方法に対する提案されたアプローチの有効性を示しています。コードはhttps://github.com/winycg/CIRKDで入手できます。
Current Knowledge Distillation (KD) methods for semantic segmentation often guide the student to mimic the teacher's structured information generated from individual data samples. However, they ignore the global semantic relations among pixels across various images that are valuable for KD. This paper proposes a novel Cross-Image Relational KD (CIRKD), which focuses on transferring structured pixel-to-pixel and pixel-to-region relations among the whole images. The motivation is that a good teacher network could construct a well-structured feature space in terms of global pixel dependencies. CIRKD makes the student mimic better structured semantic relations from the teacher, thus improving the segmentation performance. Experimental results over Cityscapes, CamVid and Pascal VOC datasets demonstrate the effectiveness of our proposed approach against state-of-the-art distillation methods. The code is available at https://github.com/winycg/CIRKD.