スパースニューラルネットワークは広く研究されてきましたが、焦点は主に精度にありました。この作業では、代わりにネットワーク構造に焦点を当て、3つの一般的なアルゴリズムを分析します。最初に、構造が持続し、重みが別のランダムな初期化にリセットされたときのパフォーマンスを測定します。これにより、宝くじの分解の実験が拡張されます(Zhou et al。、2019)。この実験は、精度が構造のみから導き出されることを明らかにしています。次に、構造のロバスト性を測定するために、トレーニング後のさらなる剪定に対するスパースニューラルネットワークの感度を調査し、アルゴリズム間の明確なコントラストを見つけます。最後に、最近の動的スパース性アルゴリズムについて、トレーニングのどのくらい早い段階で構造が出現するかを調査します。 1つのエポックの後でも、構造はほとんど決定されていることがわかります。これにより、トレーニング全体で密な勾配を必要としない、より効率的なアルゴリズムを提案できます。スパースニューラルネットワークのアルゴリズムを振り返り、別のレンズからのパフォーマンスを分析することで、いくつかの興味深い特性と将来の研究のための有望な方向性を明らかにします。
Although sparse neural networks have been studied extensively, the focus has been primarily on accuracy. In this work, we focus instead on network structure, and analyze three popular algorithms. We first measure performance when structure persists and weights are reset to a different random initialization, thereby extending experiments in Deconstructing Lottery Tickets (Zhou et al., 2019). This experiment reveals that accuracy can be derived from structure alone. Second, to measure structural robustness we investigate the sensitivity of sparse neural networks to further pruning after training, finding a stark contrast between algorithms. Finally, for a recent dynamic sparsity algorithm we investigate how early in training the structure emerges. We find that even after one epoch the structure is mostly determined, allowing us to propose a more efficient algorithm which does not require dense gradients throughout training. In looking back at algorithms for sparse neural networks and analyzing their performance from a different lens, we uncover several interesting properties and promising directions for future research.