ディープ ニューラル ネットワークは、さまざまなタスクで効果的であることが証明されています。ただし、計算とメモリのコストが高いため、リソースに制約のあるデバイスに展開するのは現実的ではありません。この問題に対処するために、メモリ フットプリントを削減し、推論速度を向上させる量子化スキームが提案されています。数多くの量子化方法が提案されていますが、それらの有効性に関する体系的な分析が不足しています。このギャップを埋めるために、既存の量子化方法を収集して改善し、トレーニング後の量子化のゴールド ガイドラインを提案します。 ImageNet データセットで、ResNet50 と MobileNetV2 の 2 つの一般的なモデルを使用して、提案した方法の有効性を評価します。ガイドラインに従うことで、追加のトレーニングなしでモデルを直接 8 ビットに量子化した後でも、精度の低下は発生しません。ガイドラインに基づく量子化を意識したトレーニングにより、下位ビットの量子化の精度をさらに向上させることができます。さらに、コストをさらに削減するために、既存の剪定技術と調和して機能する多段階の微調整戦略を統合しました。驚くべきことに、私たちの結果は、スパース性が 30% の量子化された MobileNetV2 が、同等の完全精度モデルのパフォーマンスを実際に上回っていることを明らかにしており、提案されたスキームの有効性と回復力を強調しています。
Deep neural networks have been proven effective in a wide range of tasks. However, their high computational and memory costs make them impractical to deploy on resource-constrained devices. To address this issue, quantization schemes have been proposed to reduce the memory footprint and improve inference speed. While numerous quantization methods have been proposed, they lack systematic analysis for their effectiveness. To bridge this gap, we collect and improve existing quantization methods and propose a gold guideline for post-training quantization. We evaluate the effectiveness of our proposed method with two popular models, ResNet50 and MobileNetV2, on the ImageNet dataset. By following our guidelines, no accuracy degradation occurs even after directly quantizing the model to 8-bits without additional training. A quantization-aware training based on the guidelines can further improve the accuracy in lower-bits quantization. Moreover, we have integrated a multi-stage fine-tuning strategy that works harmoniously with existing pruning techniques to reduce costs even further. Remarkably, our results reveal that a quantized MobileNetV2 with 30% sparsity actually surpasses the performance of the equivalent full-precision model, underscoring the effectiveness and resilience of our proposed scheme.