arXiv reaDer
Fast On-the-fly Retraining-free Sparsification of Convolutional Neural Networks
  現代の畳み込みニューラルネットワーク(CNN)は複雑で、数百万のパラメーターが含まれています。それらの展開は、特に組み込みプラットフォームで、計算、ストレージ、およびエネルギーの需要を発揮します。 CNNを整理またはスパース化する既存のアプローチでは、推論の精度を維持するために再トレーニングが必要です。このような再トレーニングは、状況によっては実行できません。このペーパーでは、3つのモデルに依存しない方法を提案することにより、CNNのスパース化を調査します。私たちの方法はオンザフライで適用され、再訓練を必要としません。トップ5の精度が5%を超える損失を被ることなく、最新モデルの重量を最大73%(圧縮係数3.7x)まで削減できることを示します。追加の微調整ではスパース性が8%しか向上しないため、高速のオンザフライ方式が効果的であることを示しています。
Modern Convolutional Neural Networks (CNNs) are complex, encompassing millions of parameters. Their deployment exerts computational, storage and energy demands, particularly on embedded platforms. Existing approaches to prune or sparsify CNNs require retraining to maintain inference accuracy. Such retraining is not feasible in some contexts. In this paper, we explore the sparsification of CNNs by proposing three model-independent methods. Our methods are applied on-the-fly and require no retraining. We show that the state-of-the-art models' weights can be reduced by up to 73% (compression factor of 3.7x) without incurring more than 5% loss in Top-5 accuracy. Additional fine-tuning gains only 8% in sparsity, which indicates that our fast on-the-fly methods are effective.
updated: Sun Sep 08 2019 17:03:08 GMT+0000 (UTC)
published: Sat Nov 10 2018 05:43:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト