ポストトレーニング量子化(PTQ)と呼ばれる、エンドツーエンドの再トレーニングなしのニューラルネットワーク量子化の挑戦的なタスクを研究します。 PTQは通常、トレーニングデータの小さなサブセットを必要としますが、量子化認識トレーニング(QAT)よりも強力ではない量子化モデルを生成します。この作業では、PTQのビット幅の制限を初めてINT2に押し下げる、BRECQと呼ばれる新しいPTQフレームワークを提案します。 BRECQは、ニューラルネットワークの基本的な構成要素を活用し、それらを1つずつ再構築します。二次誤差の包括的な理論的研究では、BRECQがクロスレイヤー依存性と汎化誤差の間の良好なバランスを達成することを示しています。量子化の力をさらに活用するために、混合精度技術は、層間および層内の感度を近似することにより、フレームワークに組み込まれています。画像分類とオブジェクト検出タスクの両方について、さまざまな手作りおよび検索されたニューラルアーキテクチャに関する広範な実験が行われます。そして初めて、ベルやホイッスルなしで、PTQがQATに匹敵する4ビットのResNetおよびMobileNetV2を達成し、量子化モデルの240倍高速な生成を享受できることを証明しました。コードはhttps://github.com/yhhhli/BRECQで入手できます。
We study the challenging task of neural network quantization without end-to-end retraining, called Post-training Quantization (PTQ). PTQ usually requires a small subset of training data but produces less powerful quantized models than Quantization-Aware Training (QAT). In this work, we propose a novel PTQ framework, dubbed BRECQ, which pushes the limits of bitwidth in PTQ down to INT2 for the first time. BRECQ leverages the basic building blocks in neural networks and reconstructs them one-by-one. In a comprehensive theoretical study of the second-order error, we show that BRECQ achieves a good balance between cross-layer dependency and generalization error. To further employ the power of quantization, the mixed precision technique is incorporated in our framework by approximating the inter-layer and intra-layer sensitivity. Extensive experiments on various handcrafted and searched neural architectures are conducted for both image classification and object detection tasks. And for the first time we prove that, without bells and whistles, PTQ can attain 4-bit ResNet and MobileNetV2 comparable with QAT and enjoy 240 times faster production of quantized models. Codes are available at https://github.com/yhhhli/BRECQ.