arXiv reaDer
共同で適用される剪定と量子化による自動モデル圧縮
Automated Model Compression by Jointly Applied Pruning and Quantization
従来の深圧縮フレームワークでは、ネットワークのプルーニングと量子化を繰り返し実行することで、モデルのサイズと計算コストを削減して、展開要件を満たすことができます。ただし、このような剪定と量子化の段階的な適用は、最適ではないソリューションと不必要な時間の消費につながる可能性があります。このホワイトペーパーでは、ネットワークプルーニングと量子化を統合された結合圧縮問題として統合し、AutoMLを使用して自動的に解決することでこの問題に取り組んでいます。プルーニングプロセスは、0ビットのチャネルごとの量子化と見なすことができます。したがって、個別の2段階の剪定と量子化は、混合精度の1段階の量子化として簡略化できます。この統合により、圧縮パイプラインが簡素化されるだけでなく、圧縮の相違も回避されます。このアイデアを実装するために、共同で適用される剪定と量子化(AJPQ)による自動モデル圧縮を提案します。 AJPQは、階層アーキテクチャで設計されています。レイヤーコントローラーがレイヤーのスパース性を制御し、チャネルコントローラーが各カーネルのビット幅を決定します。同じ重要度基準に従って、レイヤーコントローラーとチャネルコントローラーが共同で圧縮戦略を決定します。強化学習の助けを借りて、私たちのワンステップ圧縮が自動的に達成されます。最先端の自動圧縮方法と比較して、私たちの方法は、ストレージを大幅に削減しながら、より高い精度を取得します。固定精度の量子化の場合、AJPQはモデルサイズを5倍以上、計算を2倍に削減でき、リモートセンシングオブジェクト検出におけるSkynetのパフォーマンスがわずかに向上します。混合精度が許可されている場合、AJPQはモデルサイズを5倍に縮小でき、分類タスクでのMobileNetの上位5つの精度の低下はわずか1.06%です。
In the traditional deep compression framework, iteratively performing network pruning and quantization can reduce the model size and computation cost to meet the deployment requirements. However, such a step-wise application of pruning and quantization may lead to suboptimal solutions and unnecessary time consumption. In this paper, we tackle this issue by integrating network pruning and quantization as a unified joint compression problem and then use AutoML to automatically solve it. We find the pruning process can be regarded as the channel-wise quantization with 0 bit. Thus, the separate two-step pruning and quantization can be simplified as the one-step quantization with mixed precision. This unification not only simplifies the compression pipeline but also avoids the compression divergence. To implement this idea, we propose the automated model compression by jointly applied pruning and quantization (AJPQ). AJPQ is designed with a hierarchical architecture: the layer controller controls the layer sparsity, and the channel controller decides the bit-width for each kernel. Following the same importance criterion, the layer controller and the channel controller collaboratively decide the compression strategy. With the help of reinforcement learning, our one-step compression is automatically achieved. Compared with the state-of-the-art automated compression methods, our method obtains a better accuracy while reducing the storage considerably. For fixed precision quantization, AJPQ can reduce more than five times model size and two times computation with a slight performance increase for Skynet in remote sensing object detection. When mixed-precision is allowed, AJPQ can reduce five times model size with only 1.06% top-5 accuracy decline for MobileNet in the classification task.
updated: Thu Nov 12 2020 07:06:29 GMT+0000 (UTC)
published: Thu Nov 12 2020 07:06:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト