データを使用せずにトレーニング済みニューラルネットワークを圧縮するための効率的な方法を紹介します。私たちのデータフリーの方法は、同等の最先端の方法よりも14倍から450倍少ないFLOPを必要とします。データフリーネットワーク圧縮の問題を、いくつかの独立したレイヤーごとの圧縮に分割します。レイヤーごとのトレーニングデータを効率的に生成する方法と、レイヤーごとの圧縮中に精度を維持するためにネットワークを事前調整する方法を示します。データフリーの低ビット幅量子化のためのMobileNetV1の最先端のパフォーマンスを示します。また、この方法をエンドツーエンドの生成方法と組み合わせた場合の、EfficientNetB0のデータフリープルーニングに関する最先端のパフォーマンスも示します。
We present an efficient method for compressing a trained neural network without using any data. Our data-free method requires 14x-450x fewer FLOPs than comparable state-of-the-art methods. We break the problem of data-free network compression into a number of independent layer-wise compressions. We show how to efficiently generate layer-wise training data, and how to precondition the network to maintain accuracy during layer-wise compression. We show state-of-the-art performance on MobileNetV1 for data-free low-bit-width quantization. We also show state-of-the-art performance on data-free pruning of EfficientNet B0 when combining our method with end-to-end generative methods.