特徴の識別可能性とローカリゼーションの事前分布の両方を適切に転送できるため、特徴マップからの抽出は、高密度の予測タスクにかなり効果的です。ただし、すべてのピクセルがパフォーマンスに等しく貢献するわけではありません。優れた生徒は、教師にとって本当に重要なことから学ぶ必要があります。この論文では、ピクセル単位の注意によって生成された蒸留マスクを使用して、特徴マップ内の関心のあるピクセル(PoI)をローカライズするための学習可能な埋め込み吹き替え受容トークンを紹介します。次に、ピクセル単位の再構成を介してマスク上で蒸留が実行されます。このように、蒸留マスクは実際に教師の特徴マップ内のピクセル依存性のパターンを示します。したがって、複数の受容トークンを採用して、より洗練された有益なピクセル依存関係を調査し、蒸留をさらに強化します。マスクのグループを取得するために、受容トークンは通常のタスク損失を介して学習されますが、教師は固定されています。また、ダイス損失を利用して、学習したマスクの多様性を強化します。 MasKDと呼ばれる私たちの方法はシンプルで実用的であり、アプリケーションでのタスクの事前操作は必要ありません。実験によると、MasKDは、オブジェクト検出とセマンティックセグメンテーションのベンチマークで一貫して最先端のパフォーマンスを実現できます。コードはhttps://github.com/hunto/MasKDで入手できます。
Distilling from the feature maps can be fairly effective for dense prediction tasks since both the feature discriminability and localization priors can be well transferred. However, not every pixel contributes equally to the performance, and a good student should learn from what really matters to the teacher. In this paper, we introduce a learnable embedding dubbed receptive token to localize those pixels of interests (PoIs) in the feature map, with a distillation mask generated via pixel-wise attention. Then the distillation will be performed on the mask via pixel-wise reconstruction. In this way, a distillation mask actually indicates a pattern of pixel dependencies within feature maps of teacher. We thus adopt multiple receptive tokens to investigate more sophisticated and informative pixel dependencies to further enhance the distillation. To obtain a group of masks, the receptive tokens are learned via the regular task loss but with teacher fixed, and we also leverage a Dice loss to enrich the diversity of learned masks. Our method dubbed MasKD is simple and practical, and needs no priors of tasks in application. Experiments show that our MasKD can achieve state-of-the-art performance consistently on object detection and semantic segmentation benchmarks. Code is available at: https://github.com/hunto/MasKD .