このホワイトペーパーでは、変換量子化を介して、トレーニング後の畳み込みニューラルネットワーク(CNN)の重みを圧縮します。以前のCNN量子化手法は、重みとアクティブ化の結合統計を無視して、特定の量子化ビットレートで次善のCNNパフォーマンスを生成する傾向があり、トレーニング中にのみ結合統計を考慮し、すでにトレーニングされたCNNモデルの効率的な圧縮を促進しません。任意の量子化ビットレートでの圧縮を改善するために、レート歪みフレームワークを使用してトレーニング後に重みを最適に変換(非相関)および量子化します。変換量子化は、単一のフレームワークで量子化と次元削減(非相関)技術を統合し、CNNの低ビットレート圧縮と変換ドメインでの効率的な推論を容易にします。最初に、CNN量子化のレート理論と歪み理論を紹介し、レート歪み最適化問題として最適量子化を提起します。次に、この問題は、このペーパーで導出した最適なエンドツーエンドの学習変換(ELT)による無相関化に続く最適なビット深度割り当てを使用して解決できることを示します。実験は、変換量子化が再訓練された量子化シナリオと再訓練されていない量子化シナリオの両方でCNN圧縮の最先端技術を進歩させることを示しています。特に、再トレーニングによる変換量子化では、AlexNet、ResNet、DenseNetなどのCNNモデルを非常に低いビットレート(1〜2ビット)に圧縮できることがわかります。
In this paper, we compress convolutional neural network (CNN) weights post-training via transform quantization. Previous CNN quantization techniques tend to ignore the joint statistics of weights and activations, producing sub-optimal CNN performance at a given quantization bit-rate, or consider their joint statistics during training only and do not facilitate efficient compression of already trained CNN models. We optimally transform (decorrelate) and quantize the weights post-training using a rate-distortion framework to improve compression at any given quantization bit-rate. Transform quantization unifies quantization and dimensionality reduction (decorrelation) techniques in a single framework to facilitate low bit-rate compression of CNNs and efficient inference in the transform domain. We first introduce a theory of rate and distortion for CNN quantization, and pose optimum quantization as a rate-distortion optimization problem. We then show that this problem can be solved using optimal bit-depth allocation following decorrelation by the optimal End-to-end Learned Transform (ELT) we derive in this paper. Experiments demonstrate that transform quantization advances the state of the art in CNN compression in both retrained and non-retrained quantization scenarios. In particular, we find that transform quantization with retraining is able to compress CNN models such as AlexNet, ResNet and DenseNet to very low bit-rates (1-2 bits).