arXiv reaDer
Leveraging Filter Correlations for Deep Model Compression
 深い畳み込みニューラルネットワークのフィルター相関ベースのモデル圧縮アプローチを提示します。このアプローチでは、最大のペアワイズ相関を持つフィルターのペアを繰り返し特定し、そのような各ペアからフィルターの1つを削除します。ただし、このような各ペアからフィルターの1つを単純に破棄する代わりに、モデルを再最適化して、これらのペアのフィルターを最大相関させ、ペアからフィルターの1つを破棄することで情報の損失を最小限に抑えます。さらに、各ラウンドでフィルターを破棄した後、モデルをさらに微調整して、圧縮によって生じた潜在的な小さな損失から回復します。包括的な実験とアブレーション研究を使用して、提案されたアプローチを評価します。この圧縮方法は、LeNet-5、VGG-16、ResNet-50,56などのさまざまなベンチマークで最先端のFLOP圧縮率を実現しながら、ベンチマークデータセットでのオブジェクト検出などのタスクに対して優れた予測パフォーマンスを実現します。 。
We present a filter correlation based model compression approach for deep convolutional neural networks. Our approach iteratively identifies pairs of filters with the largest pairwise correlations and drops one of the filters from each such pair. However, instead of discarding one of the filters from each such pair naïvely, the model is re-optimized to make the filters in these pairs maximally correlated, so that discarding one of the filters from the pair results in minimal information loss. Moreover, after discarding the filters in each round, we further finetune the model to recover from the potential small loss incurred by the compression. We evaluate our proposed approach using a comprehensive set of experiments and ablation studies. Our compression method yields state-of-the-art FLOPs compression rates on various benchmarks, such as LeNet-5, VGG-16, and ResNet-50,56, while still achieving excellent predictive performance for tasks such as object detection on benchmark datasets.
updated: Wed Jan 15 2020 20:16:50 GMT+0000 (UTC)
published: Mon Nov 26 2018 18:05:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト