arXiv reaDer
Global Sparse Momentum SGD for Pruning Very Deep Neural Networks
  ディープニューラルネットワーク(DNN)は強力ですが、計算コストが高く、メモリを大量に消費するため、リソースに制約のあるフロントエンドデバイスでの実用的な使用を妨げます。 DNNプルーニングは、深いモデル圧縮のアプローチであり、パフォーマンスの低下を許容できるいくつかのパラメーターを排除することを目的としています。本論文では、オンザフライプルーニングによりネットワークの複雑さを軽減するために、新しい勢いSGDベースの最適化手法を提案します。具体的には、グローバルな圧縮率が与えられると、すべてのパラメーターを各トレーニング反復で2つの部分に分類し、異なるルールを使用して更新します。このように、通常の重み減衰のみを使用して更新し、目的関数から派生した勾配は使用しないため、冗長パラメーターを徐々にゼロにします。層ごとのスパース比の調整、複雑な微分不可能な問題の解決による剪定、または枝刈り後のモデルの微調整に人間の重い作業を必要とする従来の方法からの脱却として、我々の方法は、1)適切な-層のスパース比; 2)エンドツーエンドのトレーニング。 3)剪定後の時間のかかる再トレーニングプロセスは不要。 4)初期化宝くじに当選した、より良い当選チケットを見つける優れた機能。
Deep Neural Network (DNN) is powerful but computationally expensive and memory intensive, thus impeding its practical usage on resource-constrained front-end devices. DNN pruning is an approach for deep model compression, which aims at eliminating some parameters with tolerable performance degradation. In this paper, we propose a novel momentum-SGD-based optimization method to reduce the network complexity by on-the-fly pruning. Concretely, given a global compression ratio, we categorize all the parameters into two parts at each training iteration which are updated using different rules. In this way, we gradually zero out the redundant parameters, as we update them using only the ordinary weight decay but no gradients derived from the objective function. As a departure from prior methods that require heavy human works to tune the layer-wise sparsity ratios, prune by solving complicated non-differentiable problems or finetune the model after pruning, our method is characterized by 1) global compression that automatically finds the appropriate per-layer sparsity ratios; 2) end-to-end training; 3) no need for a time-consuming re-training process after pruning; and 4) superior capability to find better winning tickets which have won the initialization lottery.
updated: Fri Oct 25 2019 15:39:02 GMT+0000 (UTC)
published: Fri Sep 27 2019 16:24:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト