この論文では、ビット幅の重みとアクティベーションが低い深い畳み込みニューラルネットワークをトレーニングするための2つの新しい手法を提案します。まず、低いビット幅の重みを取得するために、ほとんどの既存の方法は、全精度のネットワーク重みで量子化を実行することによって量子化された重みを取得します。ただし、このアプローチでは、いくつかの不一致が発生します。最急降下法は完全精度の重みを更新しますが、量子化された重みは更新しません。この問題に対処するために、学習可能な量子化レベルで量子化された重みを直接更新して、勾配降下法を使用してコスト関数を最小化できる新しい方法を提案します。第二に、低ビット幅のアクティベーションを取得するために、既存の作業ではすべてのチャネルを等しく考慮します。ただし、アクティベーションクォンタイザーは、分散の大きいいくつかのチャネルに偏る可能性があります。この問題に対処するために、個々のチャネルの量子化誤差を考慮に入れる方法を提案します。このアプローチにより、大部分のチャネルの量子化エラーを最小限に抑えるアクティベーション量子化器を学習できます。実験結果は、提案された方法が、CIFAR-100およびImageNetデータセットでAlexNet、ResNet、およびMobileNetV2アーキテクチャを使用して、画像分類タスクで最先端のパフォーマンスを達成することを示しています。
This paper proposes two novel techniques to train deep convolutional neural networks with low bit-width weights and activations. First, to obtain low bit-width weights, most existing methods obtain the quantized weights by performing quantization on the full-precision network weights. However, this approach would result in some mismatch: the gradient descent updates full-precision weights, but it does not update the quantized weights. To address this issue, we propose a novel method that enables direct updating of quantized weights with learnable quantization levels to minimize the cost function using gradient descent. Second, to obtain low bit-width activations, existing works consider all channels equally. However, the activation quantizers could be biased toward a few channels with high-variance. To address this issue, we propose a method to take into account the quantization errors of individual channels. With this approach, we can learn activation quantizers that minimize the quantization errors in the majority of channels. Experimental results demonstrate that our proposed method achieves state-of-the-art performance on the image classification task, using AlexNet, ResNet and MobileNetV2 architectures on CIFAR-100 and ImageNet datasets.