arXiv reaDer
And the Bit Goes Down: Revisiting the Quantization of Neural Networks
 このペーパーでは、畳み込みネットワークアーキテクチャのメモリフットプリントを削減する問題に対処します。ネットワークの出力の重みではなく再構築の品質を維持することを目的としたベクトル量子化方法を紹介します。このアプローチの原則は、ドメイン内入力の損失再構築エラーを最小化することです。この方法では、量子化時にラベルのないデータのセットのみが必要であり、バイト単位のコードブックを使用して圧縮された重みを保存することにより、CPUでの効率的な推論が可能になります。 ImageNetオブジェクト分類で76.1%のトップ1の精度を維持しながら、高性能のResNet-50モデルを5MB(20x圧縮係数)のメモリサイズに量子化し、26x係数でMask R-CNNを圧縮することにより、アプローチを検証します。 。
In this paper, we address the problem of reducing the memory footprint of convolutional network architectures. We introduce a vector quantization method that aims at preserving the quality of the reconstruction of the network outputs rather than its weights. The principle of our approach is that it minimizes the loss reconstruction error for in-domain inputs. Our method only requires a set of unlabelled data at quantization time and allows for efficient inference on CPU by using byte-aligned codebooks to store the compressed weights. We validate our approach by quantizing a high performing ResNet-50 model to a memory size of 5MB (20x compression factor) while preserving a top-1 accuracy of 76.1% on ImageNet object classification and by compressing a Mask R-CNN with a 26x factor.
updated: Mon Nov 09 2020 10:11:15 GMT+0000 (UTC)
published: Fri Jul 12 2019 11:52:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト