arXiv reaDer
A High-Performance Adaptive Quantization Approach for Edge CNN Applications
最近の畳み込みニューラルネットワーク(CNN)の開発により、さまざまなアプリケーションの最先端のモデル精度が向上し続けています。ただし、精度の向上には、かなりのメモリ帯域幅とストレージ要件、および要求の厳しい計算リソースが犠牲になります。過去には、量子化手法によってエッジデバイスの展開コストが効果的に削減されていましたが、現在のCNNの偏ったアクティベーションを処理するときに情報が大幅に失われるという問題があります。したがって、本論文では、タスク損失に基づいてスケーリングおよびシフト係数を動的に調整することにより、バイアスされたアクティベーションの問題を解決するための適応型高性能量子化手法を紹介します。提案手法は、ImageNetデータセットを使用した画像分類モデル(ResNet-18 / 34/50、MobileNet-V2、EfficientNet-B0)、COCOデータセットを使用したオブジェクト検出モデル(YOLO-V4)、PTBデータセットを使用した言語モデルで広く評価されています。 。結果は、当社の4ビット整数(INT4)量子化モデルが、最先端の4ビットモデルよりも優れた精度を達成し、場合によっては、ゴールデンフルプレシジョンモデルを超えることを示しています。最終的な設計は、多くの実用的なアプリケーションのために、リソースに非常に制約のあるエッジデバイスに正常に展開されています。
Recent convolutional neural network (CNN) development continues to advance the state-of-the-art model accuracy for various applications. However, the enhanced accuracy comes at the cost of substantial memory bandwidth and storage requirements and demanding computational resources. Although in the past the quantization methods have effectively reduced the deployment cost for edge devices, it suffers from significant information loss when processing the biased activations of contemporary CNNs. In this paper, we hence introduce an adaptive high-performance quantization method to resolve the issue of biased activation by dynamically adjusting the scaling and shifting factors based on the task loss. Our proposed method has been extensively evaluated on image classification models (ResNet-18/34/50, MobileNet-V2, EfficientNet-B0) with ImageNet dataset, object detection model (YOLO-V4) with COCO dataset, and language models with PTB dataset. The results show that our 4-bit integer (INT4) quantization models achieve better accuracy than the state-of-the-art 4-bit models, and in some cases, even surpass the golden full-precision models. The final designs have been successfully deployed onto extremely resource-constrained edge devices for many practical applications.
updated: Sun Jul 18 2021 07:49:18 GMT+0000 (UTC)
published: Sun Jul 18 2021 07:49:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト