モデルの量子化は、特に軽量のモバイルデバイスやエッジデバイスでの推論のために、ディープニューラルネットワークを圧縮するための有望な方法として知られています。ただし、モデルの量子化では通常、完全な精度のモデルの精度を維持するために元のトレーニングデータにアクセスする必要があります。これは、セキュリティとプライバシーの問題に関する実際のシナリオでは実行できないことがよくあります。元のデータにアクセスせずに量子化を実行するための一般的なアプローチは、バッチ正規化統計または敵対的学習に基づいて、合成的に生成されたサンプルを使用することです。ただし、このようなアプローチの欠点は、合成サンプルの多様性を実現するために、主にジェネレータへのランダムノイズ入力に依存していることです。これは、特に決定境界の周りで、元のデータの分布をキャプチャするには不十分であることがよくあります。この目的のために、Qimeraを提案します。これは、重ね合わせた潜在埋め込みを使用して、合成境界サポートサンプルを生成する方法です。重ね合わせた埋め込みが元の分布をより適切に反映するように、追加の解きほぐしマッピングレイヤーを使用し、全精度モデルから情報を抽出することも提案します。実験結果は、Qimeraがデータフリー量子化のさまざまな設定で最先端のパフォーマンスを達成することを示しています。コードはhttps://github.com/iamkanghyunchoi/qimeraで入手できます。
Model quantization is known as a promising method to compress deep neural networks, especially for inferences on lightweight mobile or edge devices. However, model quantization usually requires access to the original training data to maintain the accuracy of the full-precision models, which is often infeasible in real-world scenarios for security and privacy issues. A popular approach to perform quantization without access to the original data is to use synthetically generated samples, based on batch-normalization statistics or adversarial learning. However, the drawback of such approaches is that they primarily rely on random noise input to the generator to attain diversity of the synthetic samples. We find that this is often insufficient to capture the distribution of the original data, especially around the decision boundaries. To this end, we propose Qimera, a method that uses superposed latent embeddings to generate synthetic boundary supporting samples. For the superposed embeddings to better reflect the original distribution, we also propose using an additional disentanglement mapping layer and extracting information from the full-precision model. The experimental results show that Qimera achieves state-of-the-art performances for various settings on data-free quantization. Code is available at https://github.com/iamkanghyunchoi/qimera.