事前にトレーニングされた巨大なネットワークから知識を抽出して小さなネットワークのパフォーマンスを向上させることで、多くのリアルタイムおよびモバイルアプリケーションで使用されるディープラーニングモデルが支持されています。この分野での成功を実証するいくつかのアプローチは、関連する知識を抽出するために真のトレーニングデータセットを利用しています。ただし、Trueデータセットがない場合でも、深いネットワークから知識を抽出することは依然として課題です。データフリーの知識蒸留に関する最近の研究は、分類タスクにおけるそのような技術を示しています。この目的のために、セグメンテーションタスクのためのデータフリーの知識蒸留のタスクを調査します。まず、セグメンテーションに固有のいくつかの課題を特定します。 DeGANトレーニングフレームワークを利用して、いくつかのクラスが過小評価されている状況で多様性を強制するための新しい損失関数を提案します。さらに、データのない設定で知識の蒸留を実行するための新しいトレーニングフレームワークを検討します。以前のアプローチと比較して、平均IoUが6.93%向上しています。
Distilling knowledge from huge pre-trained networks to improve the performance of tiny networks has favored deep learning models to be used in many real-time and mobile applications. Several approaches that demonstrate success in this field have made use of the true training dataset to extract relevant knowledge. In absence of the True dataset, however, extracting knowledge from deep networks is still a challenge. Recent works on data-free knowledge distillation demonstrate such techniques on classification tasks. To this end, we explore the task of data-free knowledge distillation for segmentation tasks. First, we identify several challenges specific to segmentation. We make use of the DeGAN training framework to propose a novel loss function for enforcing diversity in a setting where a few classes are underrepresented. Further, we explore a new training framework for performing knowledge distillation in a data-free setting. We get an improvement of 6.93% in Mean IoU over previous approaches.