arXiv reaDer
Structural Pruning in Deep Neural Networks: A Small-World Approach
 ディープニューラルネットワーク(DNN)は通常、過剰にパラメーター化されており、ハードウェアプラットフォームで過剰なメモリと相互接続のコストが発生します。既存のプルーニングアプローチでは、トレーニングの最後に二次パラメーターを削除して、モデルサイズを縮小します。しかし、固有のネットワークプロパティを活用せずに、ネットワークを準備するには完全な相互接続が必要です。脳のネットワークがSmall-Worldモデルに従うという観察に触発され、(1)トレーニング前にネットワークをSmall-Worldモデルに階層的にトリミングする、(2)所定のデータセットのネットワークをトレーニングする、新しい構造的剪定スキームを提案します、および(3)精度のためにネットワークを最適化する。この新しいスキームは、トレーニング前に必要なモデルサイズと相互接続の両方を効果的に削減し、ローカルにクラスター化されたグローバルスパースモデルを実現します。 MNISTのLeNet-5およびCIFAR-10のVGG-16でのアプローチを示し、パラメーターの数をそれぞれベースラインモデルの2.3%および9.02%に減らします。
Deep Neural Networks (DNNs) are usually over-parameterized, causing excessive memory and interconnection cost on the hardware platform. Existing pruning approaches remove secondary parameters at the end of training to reduce the model size; but without exploiting the intrinsic network property, they still require the full interconnection to prepare the network. Inspired by the observation that brain networks follow the Small-World model, we propose a novel structural pruning scheme, which includes (1) hierarchically trimming the network into a Small-World model before training, (2) training the network for a given dataset, and (3) optimizing the network for accuracy. The new scheme effectively reduces both the model size and the interconnection needed before training, achieving a locally clustered and globally sparse model. We demonstrate our approach on LeNet-5 for MNIST and VGG-16 for CIFAR-10, decreasing the number of parameters to 2.3% and 9.02% of the baseline model, respectively.
updated: Mon Nov 11 2019 18:53:50 GMT+0000 (UTC)
published: Mon Nov 11 2019 18:53:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト