知識の蒸留は、大規模な教師ネットワークから小規模な学生ネットワークに知識を抽出することにより、最も重要なモデル圧縮技術の1つになりました。さまざまな種類の知識を繊細に設計することにより、以前の蒸留方法によって大きな成功が達成されましたが、ニューラルネットワークの機能特性を見落としているため、これらの手法を新しいタスクに適用するプロセスは信頼性が低く、重要です。このような問題を軽減するために、この論文では、最初にリプシッツ連続性を利用して、ニューラルネットワークの機能特性をより適切に表現し、知識蒸留プロセスをガイドします。特に、2つのニューラルネットワークのリプシッツ定数間の距離を最小化することで知識を忠実に抽出する新しいリプシッツ連続性ガイド付き知識蒸留フレームワークを提案します。これにより、教師ネットワークは学生ネットワークをより適切に正規化し、対応するパフォーマンスを向上させることができます。リプシッツ定数を計算するというNP困難な問題に対処するために、明示的な理論的導出を使用して説明可能な近似アルゴリズムを導出します。実験結果は、CIFAR-100、ImageNet、およびPASCAL VOCデータセットでのいくつかの知識蒸留タスク(分類、セグメンテーション、オブジェクト検出など)で、私たちの方法が他のベンチマークよりも優れていることを示しています。
Knowledge distillation has become one of the most important model compression techniques by distilling knowledge from larger teacher networks to smaller student ones. Although great success has been achieved by prior distillation methods via delicately designing various types of knowledge, they overlook the functional properties of neural networks, which makes the process of applying those techniques to new tasks unreliable and non-trivial. To alleviate such problem, in this paper, we initially leverage Lipschitz continuity to better represent the functional characteristic of neural networks and guide the knowledge distillation process. In particular, we propose a novel Lipschitz Continuity Guided Knowledge Distillation framework to faithfully distill knowledge by minimizing the distance between two neural networks' Lipschitz constants, which enables teacher networks to better regularize student networks and improve the corresponding performance. We derive an explainable approximation algorithm with an explicit theoretical derivation to address the NP-hard problem of calculating the Lipschitz constant. Experimental results have shown that our method outperforms other benchmarks over several knowledge distillation tasks (e.g., classification, segmentation and object detection) on CIFAR-100, ImageNet, and PASCAL VOC datasets.