arXiv reaDer
InDistill: モデル圧縮のための情報の流れを維持する知識の蒸留
InDistill: Information flow-preserving knowledge distillation for model compression
このホワイト ペーパーでは、InDistill を紹介します。これは、重要な情報フロー パスを重い教師から軽い生徒に転送するための統一されたフレームワークで、知識の蒸留とチャネル プルーニングを組み合わせたモデル圧縮アプローチです。このような情報は通常、蒸留前の符号化段階のため、以前の方法では折りたたまれていました。対照的に、InDistill は、教師の中間層に適用される剪定操作を利用して、幅を対応する生徒層の幅に縮小します。このようにして、エンコーディング段階を必要とせずに中間層を直接抽出できるように、アーキテクチャの調整を強制します。また、各層の蒸留難易度と情報の流れを作る重要な学習期間を考慮したカリキュラム学習型の研修スキームを採用しています。提案された方法は、3 つの標準ベンチマーク、つまり CIFAR-10、CUB-200、FashionMNIST で最先端のパフォーマンスをそれぞれ 3.08%、14.27%、1% mAP 上回るだけでなく、より困難な評価設定でも上回っています。すなわち、ImageNet と CIFAR-100 は、それぞれ 1.97% と 5.65% の mAP です。
In this paper we introduce InDistill, a model compression approach that combines knowledge distillation and channel pruning in a unified framework for the transfer of the critical information flow paths from a heavyweight teacher to a lightweight student. Such information is typically collapsed in previous methods due to an encoding stage prior to distillation. By contrast, InDistill leverages a pruning operation applied to the teacher's intermediate layers reducing their width to the corresponding student layers' width. In that way, we force architectural alignment enabling the intermediate layers to be directly distilled without the need of an encoding stage. Additionally, a curriculum learning-based training scheme is adopted considering the distillation difficulty of each layer and the critical learning periods in which the information flow paths are created. The proposed method surpasses state-of-the-art performance on three standard benchmarks, i.e. CIFAR-10, CUB-200, and FashionMNIST by 3.08%, 14.27%, and 1% mAP, respectively, as well as on more challenging evaluation settings, i.e. ImageNet and CIFAR-100 by 1.97% and 5.65% mAP, respectively.
updated: Fri Jun 16 2023 14:32:05 GMT+0000 (UTC)
published: Fri May 20 2022 07:40:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト