ネットワークのスパース性は、主にネットワークの複雑さを軽減する機能のために人気があります。広範な研究により、勾配によるスパース性が発掘されています。通常、これらの方法は、重みの独立性を前提として構築されますが、重みが相互に影響を受けるという事実に反しています。したがって、それらのパフォーマンスはまだ改善されていません。この論文では、この独立性のパラドックスを解決することにより、勾配駆動型スパース性(OptG)をさらに最適化することを提案します。私たちの動機は、重みを変更せずにマスク値を更新するだけで、スパースサブネットワークをランダムに初期化されたネットワークに配置できることを示すスーパーマスクトレーニングの最近の進歩に由来しています。スーパーマスクトレーニングは重み勾配を蓄積することであり、独立性のパラドックスを部分的に解決できることを証明します。その結果、OptGはスーパーマスクトレーニングを勾配駆動型スパース性に統合し、独立性のパラドックスを解決するために専用のマスクオプティマイザーが設計されています。実験によると、OptGは多くの既存の最先端の競合他社をはるかに上回っています。私たちのコードはhttps://github.com/zyxxmu/OptGで入手できます。
Network sparsity receives popularity mostly due to its capability to reduce the network complexity. Extensive studies excavate gradient-driven sparsity. Typically, these methods are constructed upon premise of weight independence, which however, is contrary to the fact that weights are mutually influenced. Thus, their performance remains to be improved. In this paper, we propose to further optimize gradient-driven sparsity (OptG) by solving this independence paradox. Our motive comes from the recent advances on supermask training which shows that sparse subnetworks can be located in a randomly initialized network by simply updating mask values without modifying any weight. We prove that supermask training is to accumulate the weight gradients and can partly solve the independence paradox. Consequently, OptG integrates supermask training into gradient-driven sparsity, and a specialized mask optimizer is designed to solve the independence paradox. Experiments show that OptG can well surpass many existing state-of-the-art competitors. Our code is available at https://github.com/zyxxmu/OptG.