arXiv reaDer
ゼロサム ゲームとしてのデータフリー量子化の再考
Rethinking Data-Free Quantization as a Zero-Sum Game
データフリー量子化 (DFQ) は、実際のデータにアクセスせずに量子化ネットワーク (Q) のパフォーマンスを回復しますが、代わりに完全精度ネットワーク (P) から学習することにより、ジェネレーター (G) を介して偽のサンプルを生成します。ただし、そのようなサンプル生成プロセスは Q から完全に独立しており、生成されたサンプルの適応性、つまり、Q の学習プロセスに対する有益または敵対的を考慮しないことに特化しており、無視できないパフォーマンス損失をもたらします。これに基づいて、いくつかの重要な質問 - さまざまなビット幅のシナリオでサンプルの Q への適応性を測定して活用する方法は?量子化されたネットワークに利益をもたらすために、望ましい適応性を備えたサンプルを生成する方法は? -- DFQ を再訪するよう促します。この論文では、ゲーム理論の観点から上記の質問に答えて、DFQ を 2 人のプレーヤー (ジェネレーターと量子化ネットワーク) 間のゼロサム ゲームとして特化し、さらに適応性を考慮したサンプル生成 (AdaSG) メソッドを提案します。技術的には、AdaSG は DFQ を、サンプルの適応性に基づいた動的な最大化と最小化のゲーム プロセスとして再定式化します。最大化プロセスは、望ましい適応性を備えたサンプルを生成することを目的としています。このようなサンプルの適応性は、パフォーマンス回復のために Q を調整した後、最小化プロセスによってさらに低下します。バランス ギャップは、ゲーム プロセスの定常性を導き、Q に最大限の利益をもたらすように定義されています。コードは https://github.com/hfutqian/AdaSG で入手できます。
Data-free quantization (DFQ) recovers the performance of quantized network (Q) without accessing the real data, but generates the fake sample via a generator (G) by learning from full-precision network (P) instead. However, such sample generation process is totally independent of Q, specialized as failing to consider the adaptability of the generated samples, i.e., beneficial or adversarial, over the learning process of Q, resulting into non-ignorable performance loss. Building on this, several crucial questions -- how to measure and exploit the sample adaptability to Q under varied bit-width scenarios? how to generate the samples with desirable adaptability to benefit the quantized network? -- impel us to revisit DFQ. In this paper, we answer the above questions from a game-theory perspective to specialize DFQ as a zero-sum game between two players -- a generator and a quantized network, and further propose an Adaptability-aware Sample Generation (AdaSG) method. Technically, AdaSG reformulates DFQ as a dynamic maximization-vs-minimization game process anchored on the sample adaptability. The maximization process aims to generate the sample with desirable adaptability, such sample adaptability is further reduced by the minimization process after calibrating Q for performance recovery. The Balance Gap is defined to guide the stationarity of the game process to maximally benefit Q. The theoretical analysis and empirical studies verify the superiority of AdaSG over the state-of-the-arts. Our code is available at https://github.com/hfutqian/AdaSG.
updated: Sun Feb 19 2023 13:22:40 GMT+0000 (UTC)
published: Sun Feb 19 2023 13:22:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト