モデル圧縮の最も効率的な方法の 1 つは、教師モデルのいくつかの異なるレイヤーからの情報 (ヒント) を生徒モデルに注入するヒント蒸留です。ヒント ポイントの選択によって圧縮性能が大幅に変わる可能性がありますが、従来の蒸留アプローチではこの事実が見落とされ、初期の研究と同じヒント ポイントが使用されます。したがって、教師モデルのレイヤーがいくつかのメトリックに関してクラスター化され、クラスターの中心がヒントポイントとして使用される、クラスター化に基づくヒント選択方法を提案します。私たちの方法は、選択した教師ネットワークに適用されると、あらゆる学生ネットワークに適用できます。提案されたアプローチは、さまざまな教師と生徒のペアと多数のヒント蒸留法を使用して、CIFAR-100 と ImageNet データセットで検証されています。私たちの結果は、アルゴリズムによって選択されたヒントポイントが、同じ学生モデルとデータセットでの最先端の知識抽出アルゴリズムと比較して優れた圧縮パフォーマンスをもたらすことを示しています。
One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher-student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.