最近の研究では、初期化時にニューラルネットワークを枝刈りする可能性が調査されています。そのための提案を評価します:SNIP(Lee et al。、2019)、GraSP(Wang et al。、2020)、SynFlow(Tanaka et al。、2020)、およびマグニチュードプルーニング。これらの方法は、ランダム剪定の些細なベースラインを上回っていますが、トレーニング後のマグニチュード剪定の精度を下回っています。その理由を理解するよう努めています。トレーニング後の剪定とは異なり、これらのメソッドが各レイヤー内で剪定する重みをランダムにシャッフルしたり、新しい初期値をサンプリングしたりすると、精度が維持または向上することを示します。そのため、これらの方法で行われる重みごとの剪定の決定は、剪定する重みの割合のレイヤーごとの選択に置き換えることができます。このプロパティは、基礎となるプルーニングヒューリスティック、初期化時にプルーニングしたいという願望、またはその両方に関するより広範な課題を示唆しています。
Recent work has explored the possibility of pruning neural networks at initialization. We assess proposals for doing so: SNIP (Lee et al., 2019), GraSP (Wang et al., 2020), SynFlow (Tanaka et al., 2020), and magnitude pruning. Although these methods surpass the trivial baseline of random pruning, they remain below the accuracy of magnitude pruning after training, and we endeavor to understand why. We show that, unlike pruning after training, randomly shuffling the weights these methods prune within each layer or sampling new initial values preserves or improves accuracy. As such, the per-weight pruning decisions made by these methods can be replaced by a per-layer choice of the fraction of weights to prune. This property suggests broader challenges with the underlying pruning heuristics, the desire to prune at initialization, or both.