arXiv reaDer
ゼロショットの敵対的量子化
Zero-shot Adversarial Quantization
モデルの量子化は、ディープニューラルネットワークを圧縮して推論を加速するための有望なアプローチであり、モバイルデバイスやエッジデバイスへの展開を可能にします。全精度モデルの高性能を維持するために、ほとんどの既存の量子化手法は、トレーニングデータセットにアクセスできると想定して、量子化モデルを微調整することに重点を置いています。ただし、データのプライバシーとセキュリティの問題により、実際の状況ではこの仮定が満たされない場合があり、そのため、これらの量子化方法は適用できません。トレーニングデータにアクセスせずにゼロショートモデルの量子化を実現するために、少数の量子化方法では、トレーニング後の量子化またはバッチ正規化統計に基づく微調整用のデータ生成のいずれかを採用しています。ただし、前者は経験が少なすぎて超低精度の量子化のトレーニングサポートが不足しているため、どちらも必然的にパフォーマンスが低下します。後者は元のデータの特性を完全に復元できず、多様なデータに対して効率が低いことがよくあります。世代。上記の問題に対処するために、ゼロショット敵対量子化(ZAQ)フレームワークを提案し、効果的な不一致の推定と、完全精度モデルからその量子化モデルへの知識の伝達を促進します。これは、ジェネレータを駆動して有益で多様なデータ例を合成し、敵対的な学習方法で量子化モデルを最適化する、新しい2レベルの不一致モデリングによって実現されます。 3つの基本的なビジョンタスクについて広範な実験を行い、強力なゼロショットベースラインに対するZAQの優位性を実証し、その主要コンポーネントの有効性を検証します。コードは次のURLで入手できます。
Model quantization is a promising approach to compress deep neural networks and accelerate inference, making it possible to be deployed on mobile and edge devices. To retain the high performance of full-precision models, most existing quantization methods focus on fine-tuning quantized model by assuming training datasets are accessible. However, this assumption sometimes is not satisfied in real situations due to data privacy and security issues, thereby making these quantization methods not applicable. To achieve zero-short model quantization without accessing training data, a tiny number of quantization methods adopt either post-training quantization or batch normalization statistics-guided data generation for fine-tuning. However, both of them inevitably suffer from low performance, since the former is a little too empirical and lacks training support for ultra-low precision quantization, while the latter could not fully restore the peculiarities of original data and is often low efficient for diverse data generation. To address the above issues, we propose a zero-shot adversarial quantization (ZAQ) framework, facilitating effective discrepancy estimation and knowledge transfer from a full-precision model to its quantized model. This is achieved by a novel two-level discrepancy modeling to drive a generator to synthesize informative and diverse data examples to optimize the quantized model in an adversarial learning fashion. We conduct extensive experiments on three fundamental vision tasks, demonstrating the superiority of ZAQ over the strong zero-shot baselines and validating the effectiveness of its main components. Code is available at .
updated: Tue Mar 30 2021 14:17:16 GMT+0000 (UTC)
published: Mon Mar 29 2021 01:33:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト