知識の蒸留は、自動運転に必要なコンパクトな認識器をトレーニングするための効果的なアプローチです。画像分類に関する最近の研究では、幅広いデータ ポイントで生徒と教師を一致させることが、蒸留のパフォーマンスを向上させるために重要であることが示されています。この概念 (関数マッチングと呼ばれます) は、シーン認識を促進するのに適しています。一般に、ほぼ無限の量のラベルなしデータが利用可能です。この研究では、自動運転のための構造化された予測タスクにおける学生モデルのパフォーマンスに対する抽出にこのような大量のラベルなしデータを使用することの影響を実験的に調査します。大規模な実験を通じて、コンパクトな学生モデルのパフォーマンスが劇的に改善され、大量のラベルなしデータを使用した知識の蒸留によって大規模な教師のパフォーマンスに匹敵することさえあることを示しています。
Knowledge distillation is an effective approach for training compact recognizers required in autonomous driving. Recent studies on image classification have shown that matching student and teacher on a wide range of data points is critical for improving performance in distillation. This concept (called function matching) is suitable for driving scene recognition, where generally an almost infinite amount of unlabeled data are available. In this study, we experimentally investigate the impact of using such a large amount of unlabeled data for distillation on the performance of student models in structured prediction tasks for autonomous driving. Through extensive experiments, we demonstrate that the performance of the compact student model can be improved dramatically and even match the performance of the large-scale teacher by knowledge distillation with massive unlabeled data.