量子化認識トレーニング (QAT) は、量子化されたネットワークのパフォーマンスを十分に維持するため、広く普及しています。 QAT では、現在の経験では、すべての量子化された重みがトレーニング プロセス全体で更新されます。この論文では、私たちが観察した興味深い現象に基づいて、この経験に挑戦します。具体的には、量子化された重みの大部分が、いくつかのトレーニング エポックの後に最適な量子化レベルに到達します。これを部分的なスクラッチオフ宝くじと呼びます。この単純でありながら価値のある観察結果は、無意味な更新を避けるために、残りのトレーニング期間でこれらの重みの勾配計算をゼロにすることを自然に促します。チケットを効果的に見つけるために、宝くじチケット スクラッチャー (LTS) と呼ばれるヒューリスティックな方法を開発しました。驚くべきことに、提案された LTS は通常、30% から 60% の重みの更新と、バックワード パスの 15% から 30% の FLOP を排除しながら、比較されたベースラインと同等またはそれよりも優れたパフォーマンスをもたらします。たとえば、ベースラインと比較して、LTS は 2 ビット ResNet-18 を 1.41% 改善し、56% の重み更新と 28% のバックワード パスの FLOP を排除します。コードは https://github.com/zysxmu/LTS にあります。
Quantization-aware training (QAT) receives extensive popularity as it well retains the performance of quantized networks. In QAT, the contemporary experience is that all quantized weights are updated for an entire training process. In this paper, this experience is challenged based on an interesting phenomenon we observed. Specifically, a large portion of quantized weights reaches the optimal quantization level after a few training epochs, which we refer to as the partly scratch-off lottery ticket. This straightforward-yet-valuable observation naturally inspires us to zero out gradient calculations of these weights in the remaining training period to avoid meaningless updating. To effectively find the ticket, we develop a heuristic method, dubbed as lottery ticket scratcher (LTS), which freezes a weight once the distance between the full-precision one and its quantization level is smaller than a controllable threshold. Surprisingly, the proposed LTS typically eliminates 30%-60% weight updating and 15%-30% FLOPs of the backward pass, while still resulting on par with or even better performance than the compared baseline. For example, compared with the baseline, LTS improves 2-bit ResNet-18 by 1.41%, eliminating 56% weight updating and 28% FLOPs of the backward pass. Code is at https://github.com/zysxmu/LTS.