データを使用せずにトレーニング済みニューラルネットワークを圧縮するための計算効率の高い方法を紹介します。データフリーネットワーク圧縮の問題を、独立したレイヤーごとの圧縮に分解します。レイヤーごとのトレーニングデータを効率的に生成する方法と、レイヤーごとの圧縮中に精度を維持するためにネットワークを事前調整する方法を示します。当社の一般的な手法は、あらゆる圧縮方法で使用できます。 MobileNetV1、MobileNetV2、およびResNet18でのデータフリーの低ビット幅量子化の関連作業よりも優れています。また、剪定に適用した場合のレイヤーワイズ法の有効性も示しています。同等の生成方法よりも桁違いに少ないメモリと計算時間を使用しながら、デバイス上のエッジ圧縮に適した低計算体制でベースラインを上回ります。高計算体制では、いくつかのネットワークの最先端のパフォーマンスを向上させるために、私たちの方法を生成的方法と組み合わせる方法を示します。
We present a computationally efficient method for compressing a trained neural network without using any data. We break the problem of data-free network compression into independent layer-wise compressions. We show how to efficiently generate layer-wise training data, and how to precondition the network to maintain accuracy during layer-wise compression. Our generic technique can be used with any compression method. We outperform related works for data-free low-bit-width quantization on MobileNetV1, MobileNetV2, and ResNet18. We also demonstrate the efficacy of our layer-wise method when applied to pruning. We outperform baselines in the low-computation regime suitable for on-device edge compression while using orders of magnitude less memory and compute time than comparable generative methods. In the high-computation regime, we show how to combine our method with generative methods to improve upon state-of-the-art performance for several networks.