効率的な推論のために逆合成データを使用するハイブリッドおよび不均一量子化法
Hybrid and Non-Uniform quantization methods using retro synthesis data for efficient inference
既存の量子化認識トレーニング方法は、ほとんどのトレーニング後の量子化方法と同様に、トレーニングデータを活用することによって量子化損失を補償しようとし、また時間がかかります。これらの方法はどちらも、トレーニングデータと緊密に結合されているため、プライバシー制約アプリケーションには効果的ではありません。対照的に、この論文では、トレーニングデータの必要性を排除するデータに依存しないトレーニング後の量子化スキームを提案します。これは、FP32モデルレイヤー統計から偽のデータセット（以降、逆合成データと呼びます）を生成し、さらにそれを量子化に使用することによって実現されます。このアプローチは、ImageNetおよびCIFAR-10データセットの8、6、および4ビット精度のバッチ正規化レイヤーがあるモデルとないモデルのZeroQおよびDFQを含むがこれらに限定されない、最先端の方法を上回りました。また、トレーニング後の量子化手法の2つの未来的なバリエーション、つまりハイブリッド量子化と不均一量子化を紹介しました。
Existing quantization aware training methods attempt to compensate for the quantization loss by leveraging on training data, like most of the post-training quantization methods, and are also time consuming. Both these methods are not effective for privacy constraint applications as they are tightly coupled with training data. In contrast, this paper proposes a data-independent post-training quantization scheme that eliminates the need for training data. This is achieved by generating a faux dataset, hereafter referred to as Retro-Synthesis Data, from the FP32 model layer statistics and further using it for quantization. This approach outperformed state-of-the-art methods including, but not limited to, ZeroQ and DFQ on models with and without Batch-Normalization layers for 8, 6, and 4 bit precisions on ImageNet and CIFAR-10 datasets. We also introduced two futuristic variants of post-training quantization methods namely Hybrid Quantization and Non-Uniform Quantization
updated: Sat Dec 26 2020 10:48:31 GMT+0000 (UTC)
published: Sat Dec 26 2020 10:48:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト