オーバーパラメーター化されたニューラルネットワーク(NN)は、最先端のパフォーマンスを表示します。ただし、限られた計算リソースを持つデバイスで機械学習アプリケーションを使用できるようにするために、より小さく、エネルギー効率の高いニューラルネットワークの必要性が高まっています。一般的なアプローチは、剪定技術を使用することです。これらの手法は、従来、事前にトレーニングされたNNの剪定に焦点を合わせてきましたが(LeCun et al。、1990; Hassibi et al。、1993)、Lee etal。 (2018)は、初期化時に剪定するときに有望な結果を示しています。ただし、Deep NNの場合、結果としてプルーニングされたネットワークのトレーニングが困難になる可能性があり、たとえば、1つのレイヤーが完全にプルーニングされるのを妨げないため、このような手順は不十分なままです。このホワイトペーパーでは、スパースアーキテクチャの初期化とトレーニングにおけるマグニチュードと勾配ベースの剪定の包括的な理論的分析を提供します。これにより、さまざまなNNアーキテクチャで実験的に検証する新しい原理的なアプローチを提案できます。
Overparameterized Neural Networks (NN) display state-of-the-art performance. However, there is a growing need for smaller, energy-efficient, neural networks tobe able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al.,1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, for Deep NNs, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer from being fully pruned. In this paper, we provide a comprehensive theoretical analysis of Magnitude and Gradient based pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.