arXiv reaDer
Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural Networks
 標準の逆伝播と勾配降下を使用して、均一な対称量子化器の量子化しきい値(TQT)をトレーニングする方法を提案します。従来の作業とは反対に、しきい値勾配のストレート推定器の注意深い分析により、より良い最適化につながる自然な範囲精度のトレードオフが可能になることを示します。量子化器は、2のべき乗のスケール係数と、重みとアクティベーションのテンソルごとのスケーリングを使用して、ハードウェアの実装に対応するように制限されています。メソッドの一般的な堅牢性に対する分析サポートを提示し、ImageNet分類のさまざまなCNNでそれらを経験的に検証します。 5エポック未満の量子化(8ビット)再トレーニングを備えたMobileNetなどの従来の困難なネットワークで、浮動小数点に近い精度を実現できます。最後に、TQTのTensorFlowグラフの自動量子化を可能にするフレームワークであるGraffitistを紹介します(で入手可能)。
We propose a method of training quantization thresholds (TQT) for uniform symmetric quantizers using standard backpropagation and gradient descent. Contrary to prior work, we show that a careful analysis of the straight-through estimator for threshold gradients allows for a natural range-precision trade-off leading to better optima. Our quantizers are constrained to use power-of-2 scale-factors and per-tensor scaling of weights and activations to make it amenable for hardware implementations. We present analytical support for the general robustness of our methods and empirically validate them on various CNNs for ImageNet classification. We are able to achieve near-floating-point accuracy on traditionally difficult networks such as MobileNets with less than 5 epochs of quantized (8-bit) retraining. Finally, we present Graffitist, a framework that enables automatic quantization of TensorFlow graphs for TQT (available at ).
updated: Fri Feb 28 2020 18:21:29 GMT+0000 (UTC)
published: Tue Mar 19 2019 15:50:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト