ネットワークプルーニングは、許容できるパフォーマンスの妥協でネットワークの複雑さを軽減するための効果的なアプローチです。既存の研究は、時間のかかる重み調整または幅が拡張されたネットワークでの複雑な検索を介してニューラルネットワークのスパース性を実現します。これにより、ネットワークプルーニングのアプリケーションが大幅に制限されます。この論文では、「宝くじジャックポット」と呼ばれる、ウェイトチューニングを伴わない高性能でスパースなサブネットワークが、幅が拡張されていない事前トレーニング済みモデルに存在することを示します。たとえば、パラメータが10%しかない宝くじのジャックポットを取得し、CIFAR-10で事前にトレーニングされた重みを変更しなくても、元の高密度VGGNet-19のパフォーマンスに到達します。さらに、多くの既存の剪定基準から導出されたスパースマスクは、宝くじジャックポットの検索されたマスクと高いオーバーラップを持っていることがわかります。その中で、マグニチュードベースの剪定は、私たちと最も類似したマスクになります。この洞察に基づいて、マグニチュードベースの剪定を使用してスパースマスクを初期化し、同等またはそれ以上のパフォーマンスを達成しながら、宝くじのジャックポット検索で少なくとも3分の1のコスト削減を実現します。具体的には、マグニチュードベースの宝くじジャックポットは、ResNet-50で90%の重みを取り除き、ImageNetでわずか10の検索エポックを使用して、70%を超えるトップ1の精度を簡単に取得します。私たちのコードはhttps://github.com/zyxxmu/lottery-jackpotsで入手できます。
Network pruning is an effective approach to reduce network complexity with acceptable performance compromise. Existing studies achieve the sparsity of neural networks via time-consuming weight tuning or complex search on networks with expanded width, which greatly limits the applications of network pruning. In this paper, we show that high-performing and sparse sub-networks without the involvement of weight tuning, termed ''lottery jackpots'', exist in pre-trained models with unexpanded width. For example, we obtain a lottery jackpot that has only 10% parameters and still reaches the performance of the original dense VGGNet-19 without any modifications on the pre-trained weights on CIFAR-10. Furthermore, we observe that the sparse masks derived from many existing pruning criteria have a high overlap with the searched mask of our lottery jackpot, among which, the magnitude-based pruning results in the most similar mask with ours. Based on this insight, we initialize our sparse mask using the magnitude-based pruning, resulting in at least 3x cost reduction on the lottery jackpot search while achieving comparable or even better performance. Specifically, our magnitude-based lottery jackpot removes 90% weights in ResNet-50, while it easily obtains more than 70% top-1 accuracy using only 10 searching epochs on ImageNet. Our code is available at https://github.com/zyxxmu/lottery-jackpots.