畳み込みニューラルネットワークは、低レベルの画像生成と復元に関する多数のトレーニングサンプルから現実的な画像の事前情報を学習できます。高レベルの画像認識タスクの場合、トレーニングデータなしで固有のバッチ正規化(BN)統計を活用することにより、各カテゴリの「現実的な」画像をさらに再構築できることを示します。一般的なVAE / GAN手法に着想を得て、合成画像のゼロショット最適化プロセスを、BN統計の分布に一致する生成モデリングと見なします。生成された画像は、次のゼロショットネットワーク量子化のキャリブレーションセットとして機能します。私たちの方法は、機密情報に基づいてモデルを量子化する必要性を満たしています。たとえば、プライバシーの懸念から、データは利用できません。ベンチマークデータセットに関する広範な実験は、生成されたデータの助けを借りて、私たちのアプローチが既存のデータフリーの量子化方法を一貫して上回っていることを示しています。
Convolutional neural networks are able to learn realistic image priors from numerous training samples in low-level image generation and restoration. We show that, for high-level image recognition tasks, we can further reconstruct "realistic" images of each category by leveraging intrinsic Batch Normalization (BN) statistics without any training data. Inspired by the popular VAE/GAN methods, we regard the zero-shot optimization process of synthetic images as generative modeling to match the distribution of BN statistics. The generated images serve as a calibration set for the following zero-shot network quantizations. Our method meets the needs for quantizing models based on sensitive information, e.g., due to privacy concerns, no data is available. Extensive experiments on benchmark datasets show that, with the help of generated data, our approach consistently outperforms existing data-free quantization methods.