arXiv reaDer
量子化を意識したトレーニングのための部分的なスクラッチオフ宝くじの利用
Exploiting the Partly Scratch-off Lottery Ticket for Quantization-Aware Training
量子化認識トレーニング (QAT) は、量子化されたネットワークのパフォーマンスを十分に維持するため、広く普及しています。 QAT では、現在の経験では、すべての量子化された重みがトレーニング プロセス全体で更新されます。この論文では、私たちが観察した興味深い現象に基づいて、この経験に挑戦します。具体的には、量子化された重みの大部分が、いくつかのトレーニング エポックの後に最適な量子化レベルに到達します。これを部分的なスクラッチオフ宝くじと呼びます。この単純でありながら価値のある観察結果は、無意味な更新を避けるために、残りのトレーニング期間でこれらの重みの勾配計算をゼロにすることを自然に促します。チケットを効果的に見つけるために、宝くじチケット スクラッチャー (LTS) と呼ばれるヒューリスティックな方法を開発しました。驚くべきことに、提案された LTS は通常、50% ~ 70% の重みの更新と後方パスの 25% ~ 35% の FLOP を排除しますが、それでも比較対象のベースラインと同等またはそれよりも優れたパフォーマンスが得られます。たとえば、ベースラインと比較して、LTS は 2 ビット MobileNetV2 を 5.05% 改善し、46% の重み更新と 23% のバックワード パスの FLOP を排除します。コードは urlhttps://github.com/zysxmu/LTS にあります。
Quantization-aware training (QAT) receives extensive popularity as it well retains the performance of quantized networks. In QAT, the contemporary experience is that all quantized weights are updated for an entire training process. In this paper, this experience is challenged based on an interesting phenomenon we observed. Specifically, a large portion of quantized weights reaches the optimal quantization level after a few training epochs, which we refer to as the partly scratch-off lottery ticket. This straightforward-yet-valuable observation naturally inspires us to zero out gradient calculations of these weights in the remaining training period to avoid meaningless updating. To effectively find the ticket, we develop a heuristic method, dubbed lottery ticket scratcher (LTS), which freezes a weight once the distance between the full-precision one and its quantization level is smaller than a controllable threshold. Surprisingly, the proposed LTS typically eliminates 50%-70% weight updating and 25%-35% FLOPs of the backward pass, while still resulting on par with or even better performance than the compared baseline. For example, compared with the baseline, LTS improves 2-bit MobileNetV2 by 5.05%, eliminating 46% weight updating and 23% FLOPs of the backward pass. Code is at urlhttps://github.com/zysxmu/LTS.
updated: Tue Jul 25 2023 22:42:36 GMT+0000 (UTC)
published: Sat Nov 12 2022 06:11:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト