arXiv reaDer
Pruning from Scratch
  ネットワークプルーニングは、ニューラルネットワークの計算コストを削減することを目的とした重要な研究分野です。従来のアプローチは、最初に大規模で冗長なネットワークをトレーニングし、次にどのユニット(チャネルなど)がそれほど重要ではなく、したがって削除できるかを決定する固定パラダイムに従います。この作業では、ターゲットの枝刈りされた構造を取得するために、過剰パラメーター化されたモデルを事前にトレーニングする必要がないことがわかります。実際、完全に訓練された過剰パラメーター化モデルは、枝刈りされた構造の探索空間を削減します。経験的に、より多様な枝刈りされた構造は、パフォーマンスが向上した潜在的なモデルを含め、ランダムに初期化された重みから直接枝刈りできることを示しています。したがって、ゼロからのプルーニングを可能にする新しいネットワークプルーニングパイプラインを提案します。 CIFAR10およびImageNetデータセットの分類モデルを圧縮する実験では、このアプローチは従来のプルーニング方法のトレーニング前の負担を大幅に削減するだけでなく、同じ計算予算の下で同様またはさらに高い精度を達成します。私たちの結果は、コミュニティがネットワークプルーニングに使用される既存の技術の有効性を再考するのを促進します。
Network pruning is an important research field aiming at reducing computational costs of neural networks. Conventional approaches follow a fixed paradigm which first trains a large and redundant network, and then determines which units (e.g., channels) are less important and thus can be removed. In this work, we find that pre-training an over-parameterized model is not necessary for obtaining the target pruned structure. In fact, a fully-trained over-parameterized model will reduce the search space for the pruned structure. We empirically show that more diverse pruned structures can be directly pruned from randomly initialized weights, including potential models with better performance. Therefore, we propose a novel network pruning pipeline which allows pruning from scratch. In the experiments for compressing classification models on CIFAR10 and ImageNet datasets, our approach not only greatly reduces the pre-training burden of traditional pruning methods, but also achieves similar or even higher accuracy under the same computation budgets. Our results facilitate the community to rethink the effectiveness of existing techniques used for network pruning.
updated: Fri Sep 27 2019 09:38:31 GMT+0000 (UTC)
published: Fri Sep 27 2019 09:38:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト