arXiv reaDer
トレーニング後の量子化のためのきめ細かいデータ分布の調整
Fine-grained Data Distribution Alignment for Post-Training Quantization
トレーニング後の量子化は、主に元の完全なトレーニングデータセットへのアクセスを回避するために人気がありますが、パフォーマンスの低下もこの制限に起因します。この制限を緩和するために、この論文では、キャリブレーションデータセットを使用したゼロショット量子化によって導入された合成データを活用し、トレーニング後の量子化のパフォーマンスを向上させるためのきめ細かいデータ分布アライメント(FDDA)メソッドを提案します。この方法は、トレーニングされたネットワークの深層で観察されたバッチ正規化統計(BNS)の2つの重要な特性、つまりクラス間分離とクラス内結合に基づいています。このきめ細かい分布情報を保持するには、次のようにします。1)キャリブレーションデータセットのクラスごとのBNSを各クラスのBNSセンターとして計算し、BNS集中型損失を提案して、さまざまなクラスの合成データ分布をそれらに近づけます。独自のセンター。 2)ガウスノイズを中心に追加して凝集を模倣し、BNSで歪んだ損失を提案して、同じクラスの合成データ分布を歪んだ中心に近づけます。これらの2つのきめ細かい損失を導入することにより、私たちの方法は、特に最初と最後の層が低ビットにも量子化されている場合に、ImageNetで最先端のパフォーマンスを示します。私たちのプロジェクトはhttps://github.com/viperit/FDDAで入手できます。
While post-training quantization receives popularity mostly due to its evasion in accessing the original complete training dataset, its poor performance also stems from this limitation. To alleviate this limitation, in this paper, we leverage the synthetic data introduced by zero-shot quantization with calibration dataset and we propose a fine-grained data distribution alignment (FDDA) method to boost the performance of post-training quantization. The method is based on two important properties of batch normalization statistics (BNS) we observed in deep layers of the trained network, i.e., inter-class separation and intra-class incohesion. To preserve this fine-grained distribution information: 1) We calculate the per-class BNS of the calibration dataset as the BNS centers of each class and propose a BNS-centralized loss to force the synthetic data distributions of different classes to be close to their own centers. 2) We add Gaussian noise into the centers to imitate the incohesion and propose a BNS-distorted loss to force the synthetic data distribution of the same class to be close to the distorted centers. By introducing these two fine-grained losses, our method shows the state-of-the-art performance on ImageNet, especially when the first and last layers are quantized to low-bit as well. Our project is available at https://github.com/viperit/FDDA.
updated: Thu Sep 09 2021 11:45:52 GMT+0000 (UTC)
published: Thu Sep 09 2021 11:45:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト