arXiv reaDer
Towards Compact CNNs via Collaborative Compression
チャネルの剪定とテンソル分解は、畳み込みニューラルネットワークの圧縮で大きな注目を集めています。ただし、これら2つの手法は従来、分離された方法で展開されているため、高い圧縮率を追求すると精度が大幅に低下します。この論文では、モデルのスパース性と低ランク性を同時に学習することにより、チャネルプルーニングとテンソル分解を組み合わせてCNNモデルを圧縮する協調圧縮(CC)スキームを提案します。具体的には、まずネットワーク内の各層の圧縮感度を調査し、次に圧縮率の決定問題を最適化問題に変換するグローバル圧縮率最適化を提案します。その後、冗長な圧縮ユニットを段階的に削除するためのマルチステップヒューリスティック圧縮を提案します。これは、残りの圧縮スペース(つまり、削除されていない圧縮ユニット)の影響を十分に考慮したものです。私たちの方法は、さまざまなデータセットとバックボーンアーキテクチャで以前の方法よりも優れたパフォーマンスの向上を示しています。たとえば、ResNet-50で48.4%のパラメーターを削除することで、52.9%のFLOP削減を達成し、ImageNet 2012ではトップ1の精度が0.56%低下するだけです。
Channel pruning and tensor decomposition have received extensive attention in convolutional neural network compression. However, these two techniques are traditionally deployed in an isolated manner, leading to significant accuracy drop when pursuing high compression rates. In this paper, we propose a Collaborative Compression (CC) scheme, which joints channel pruning and tensor decomposition to compress CNN models by simultaneously learning the model sparsity and low-rankness. Specifically, we first investigate the compression sensitivity of each layer in the network, and then propose a Global Compression Rate Optimization that transforms the decision problem of compression rate into an optimization problem. After that, we propose multi-step heuristic compression to remove redundant compression units step-by-step, which fully considers the effect of the remaining compression space (i.e., unremoved compression units). Our method demonstrates superior performance gains over previous ones on various datasets and backbone architectures. For example, we achieve 52.9% FLOPs reduction by removing 48.4% parameters on ResNet-50 with only a Top-1 accuracy drop of 0.56% on ImageNet 2012.
updated: Mon May 24 2021 12:07:38 GMT+0000 (UTC)
published: Mon May 24 2021 12:07:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト