arXiv reaDer
CUP: Cluster Pruning for Compressing Deep Neural Networks
 ディープニューラルネットワークを圧縮および加速するためのクラスタープルーニング(CUP)を提案します。このアプローチでは、着信および発信の両方の重み接続から導出された機能に基づいてクラスタリングすることにより、同様のフィルターを整理します。 CUPを使用すると、以前の作業の2つの制限(1)不均一なプルーニングを克服できます。CUPは、ニューラルネットワークの各層でプルーニングするフィルターの理想的な数を効率的に決定できます。これは、すべてのレイヤーを均一に除去するか、手動感度分析や強化学習などのリソース集約的な方法を使用して理想的な数を決定する従来の方法とは対照的です。 (2)シングルショット操作:CUPをCUP-SS(CUPシングルショットの場合)に拡張し、プルーニングを初期トレーニングフェーズ自体に統合します。これにより、従来のプルーニングパイプラインと比較して、トレーニング時間が大幅に節約されます。複数のデータセット(MNIST、CIFAR-10、およびImagenet)およびモデル(VGG-16、Resnets-18 / 34/56)の広範な評価を通じて、CUPが最近の最新技術より優れていることを示しています。具体的には、CUP-SSは、ImagenetでトレーニングされたResnet-50モデルで2.2%のフロップ削減を達成しながら、0.9%のトップ5精度を維持します。元のResnet-50と比較して、トレーニング時間を14時間以上節約できます。結果を再現するコードが利用可能です。
We propose Cluster Pruning (CUP) for compressing and accelerating deep neural networks. Our approach prunes similar filters by clustering them based on features derived from both the incoming and outgoing weight connections. With CUP, we overcome two limitations of prior work-(1) non-uniform pruning: CUP can efficiently determine the ideal number of filters to prune in each layer of a neural network. This is in contrast to prior methods that either prune all layers uniformly or otherwise use resource-intensive methods such as manual sensitivity analysis or reinforcement learning to determine the ideal number. (2) Single-shot operation: We extend CUP to CUP-SS (for CUP single shot) whereby pruning is integrated into the initial training phase itself. This leads to large savings in training time compared to traditional pruning pipelines. Through extensive evaluation on multiple datasets (MNIST, CIFAR-10, and Imagenet) and models(VGG-16, Resnets-18/34/56) we show that CUP outperforms recent state of the art. Specifically, CUP-SS achieves 2.2x flops reduction for a Resnet-50 model trained on Imagenet while staying within 0.9% top-5 accuracy. It saves over 14 hours in training time with respect to the original Resnet-50. The code to reproduce results is available.
updated: Tue Nov 19 2019 23:44:59 GMT+0000 (UTC)
published: Tue Nov 19 2019 23:44:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト