arXiv reaDer
Deep Neural Network Compression for Image Classification and Object Detection
  ニューラルネットワークは、計算コストが高いことで有名です。これは主に、ニューラルネットワークが過剰にパラメーター化されており、より深く、より広くなるにつれて、冗長なノードまたはレイヤーを持っている可能性が高いためです。ハードウェアリソースに対する需要により、組み込みデバイスでの広範な使用が禁止され、リアルタイムの画像分類やオブジェクト検出などのタスクが制限されます。この作業では、ディープニューラルネットワークの計算コストとメモリフットプリントを削減するために、新しい動的クラスタリングアプローチを注入したネットワークに依存しないモデル圧縮方法を提案します。 5つの異なる最新の画像分類およびオブジェクト検出ネットワークで新しい圧縮方法を評価しました。分類ネットワークでは、ネットワークパラメーターの約95%を切り取りました。 YOLOv3などの高度な検出ネットワークでは、提案された圧縮方法により、モデルパラメーターを最大59.70%まで削減でき、精度を大幅に犠牲にすることなくメモリを110分の1削減できました。
Neural networks have been notorious for being computationally expensive. This is mainly because neural networks are often over-parametrized and most likely have redundant nodes or layers as they are getting deeper and wider. Their demand for hardware resources prohibits their extensive use in embedded devices and puts restrictions on tasks like real-time image classification or object detection. In this work, we propose a network-agnostic model compression method infused with a novel dynamical clustering approach to reduce the computational cost and memory footprint of deep neural networks. We evaluated our new compression method on five different state-of-the-art image classification and object detection networks. In classification networks, we pruned about 95% of network parameters. In advanced detection networks such as YOLOv3, our proposed compression method managed to reduce the model parameters up to 59.70% which yielded 110X less memory without sacrificing much in accuracy.
updated: Mon Oct 07 2019 12:19:37 GMT+0000 (UTC)
published: Mon Oct 07 2019 12:19:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト