arXiv reaDer
Mixed Precision DNNs: All you need is a good parametrization
 モバイルまたは組み込みデバイスでの効率的なディープニューラルネットワーク(DNN)推論には、通常、ネットワークパラメーターの量子化とアクティベーションが含まれます。特に、混合精度のネットワークは、同じサイズの制約に対して同種のビット幅を持つネットワークよりも優れたパフォーマンスを実現します。最適なビット幅を選択することは簡単ではないため、それらを学習できるトレーニング方法が望ましいです。ストレート勾配による微分可能な量子化により、勾配法を使用して量子化器のパラメーターを学習できます。量子化器の適切なパラメータ化が、安定したトレーニングと優れた最終パフォーマンスを達成するための鍵であることを示します。具体的には、量子化器をステップサイズとダイナミックレンジでパラメーター化することを提案します。その後、それらからビット幅を推測できます。ビット幅を明示的に使用する他のパラメーター化は、一貫してパフォーマンスが低下します。 CIFAR-10とImageNetの実験で結果を確認し、学習した量子化パラメーターを備えた混合精度のDNNを取得して、最先端のパフォーマンスを実現します。
Efficient deep neural network (DNN) inference on mobile or embedded devices typically involves quantization of the network parameters and activations. In particular, mixed precision networks achieve better performance than networks with homogeneous bitwidth for the same size constraint. Since choosing the optimal bitwidths is not straight forward, training methods, which can learn them, are desirable. Differentiable quantization with straight-through gradients allows to learn the quantizer's parameters using gradient methods. We show that a suited parametrization of the quantizer is the key to achieve a stable training and a good final performance. Specifically, we propose to parametrize the quantizer with the step size and dynamic range. The bitwidth can then be inferred from them. Other parametrizations, which explicitly use the bitwidth, consistently perform worse. We confirm our findings with experiments on CIFAR-10 and ImageNet and we obtain mixed precision DNNs with learned quantization parameters, achieving state-of-the-art performance.
updated: Fri May 22 2020 17:02:41 GMT+0000 (UTC)
published: Mon May 27 2019 19:03:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト