arXiv reaDer
Revisiting Knowledge Distillation for Object Detection
物体検出蒸留の既存のソリューションは、教師モデルとグラウンドトゥルースラベルの両方の可用性に依存しています。この制約を緩和するための新しい視点を提案します。私たちのフレームワークでは、生徒は最初に教師によって生成された疑似ラベルでトレーニングされ、次にラベル付きデータが利用可能な場合はそれを使用して微調整されます。広範な実験により、既存の物体検出蒸留アルゴリズムに対する改善が実証されています。さらに、このフレームワークで教師とグラウンドトゥルース蒸留を分離すると、1)ラベルのないデータを使用して生徒のパフォーマンスをさらに向上させる、2)異なるアーキテクチャの複数の教師モデルを組み合わせて、異なるオブジェクトカテゴリを使用する、3などの興味深いプロパティが提供されます。 )ラベル付けされたデータの必要性を減らします(COCOラベルのわずか20%で、この方法はラベルのセット全体でトレーニングされたモデルと同じパフォーマンスを達成します)。さらに、このアプローチの副産物は、ドメイン適応の潜在的な使用法です。これらの特性は、広範な実験を通じて検証されています。
The existing solutions for object detection distillation rely on the availability of both a teacher model and ground-truth labels. We propose a new perspective to relax this constraint. In our framework, a student is first trained with pseudo labels generated by the teacher, and then fine-tuned using labeled data, if any available. Extensive experiments demonstrate improvements over existing object detection distillation algorithms. In addition, decoupling the teacher and ground-truth distillation in this framework provides interesting properties such: as 1) using unlabeled data to further improve the student's performance, 2) combining multiple teacher models of different architectures, even with different object categories, and 3) reducing the need for labeled data (with only 20% of COCO labels, this method achieves the same performance as the model trained on the entire set of labels). Furthermore, a by-product of this approach is the potential usage for domain adaptation. We verify these properties through extensive experiments.
updated: Sat May 22 2021 03:46:58 GMT+0000 (UTC)
published: Sat May 22 2021 03:46:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト