パフォーマンスを維持しながら大規模なニューラルネットワーク(NN)を量子化することは、メモリと時間の複雑さが軽減されるため、リソースが制限されたデバイスにとって非常に望ましいことです。これは通常、制約付き最適化問題として定式化され、勾配降下法の修正バージョンを介して最適化されます。この作業では、連続パラメーター(制約なし)を量子化されたパラメーターのデュアルとして解釈することにより、NN量子化用のミラー降下(MD)フレームワークを紹介します。具体的には、有効なミラーマップを導出し、次にそれぞれのMD更新を導出できるようにする、投影の条件(つまり、連続マップから量子化マップへのマッピング)を提供します。さらに、補助変数の追加セット(制約なし)を格納する必要があるMDの数値的に安定した実装を提示し、通常は「トリック」と見なされるStraight Through Estimator(STE)ベースの方法に非常に類似していることを示します。勾配消失問題を回避します。 VGG-16、ResNet-18、およびMobileNetV2アーキテクチャを使用したCIFAR-10 / 100、TinyImageNet、およびImageNet分類データセットに関する実験では、MDバリアントが最先端のパフォーマンスを備えた量子化ネットワークを取得することが示されています。コードはhttps://github.com/kartikgupta-at-anu/md-bnnで入手できます。
Quantizing large Neural Networks (NN) while maintaining the performance is highly desirable for resource-limited devices due to reduced memory and time complexity. It is usually formulated as a constrained optimization problem and optimized via a modified version of gradient descent. In this work, by interpreting the continuous parameters (unconstrained) as the dual of the quantized ones, we introduce a Mirror Descent (MD) framework for NN quantization. Specifically, we provide conditions on the projections (i.e., mapping from continuous to quantized ones) which would enable us to derive valid mirror maps and in turn the respective MD updates. Furthermore, we present a numerically stable implementation of MD that requires storing an additional set of auxiliary variables (unconstrained), and show that it is strikingly analogous to the Straight Through Estimator (STE) based method which is typically viewed as a "trick" to avoid vanishing gradients issue. Our experiments on CIFAR-10/100, TinyImageNet, and ImageNet classification datasets with VGG-16, ResNet-18, and MobileNetV2 architectures show that our MD variants obtain quantized networks with state-of-the-art performance. Code is available at https://github.com/kartikgupta-at-anu/md-bnn.