トレーニング後の量子化 (PTQ) は、元のアーキテクチャやトレーニング手順を変更せずにディープ ニューラル ネットワーク (DNN) を圧縮するための一般的な方法です。その有効性と利便性にもかかわらず、分布シフトやデータ ノイズなどのいくつかの極端なケースが存在する場合の PTQ 法の信頼性は、ほとんど調査されていないままです。この論文では、最初に、一般的に使用されるさまざまな PTQ 法についてこの問題を調査します。キャリブレーション セットの分布変動、キャリブレーション パラダイムの選択、およびデータの増強またはサンプリング戦略が PTQ の信頼性に及ぼす影響に関連するいくつかの研究上の質問に答えることが目的です。体系的な評価プロセスは、幅広いタスクと一般的に使用される PTQ パラダイムにわたって実施されます。結果は、ほとんどの既存の PTQ メソッドが最悪の場合のグループ パフォーマンスに関して十分に信頼できないことを示しており、より堅牢なメソッドの必要性を強調しています。私たちの調査結果は、分布シフト シナリオを効果的に処理し、実際のアプリケーションで量子化された DNN の展開を可能にする PTQ メソッドを開発するための洞察を提供します。
Post-training quantization (PTQ) is a popular method for compressing deep neural networks (DNNs) without modifying their original architecture or training procedures. Despite its effectiveness and convenience, the reliability of PTQ methods in the presence of some extrem cases such as distribution shift and data noise remains largely unexplored. This paper first investigates this problem on various commonly-used PTQ methods. We aim to answer several research questions related to the influence of calibration set distribution variations, calibration paradigm selection, and data augmentation or sampling strategies on PTQ reliability. A systematic evaluation process is conducted across a wide range of tasks and commonly-used PTQ paradigms. The results show that most existing PTQ methods are not reliable enough in term of the worst-case group performance, highlighting the need for more robust methods. Our findings provide insights for developing PTQ methods that can effectively handle distribution shift scenarios and enable the deployment of quantized DNNs in real-world applications.