arXiv reaDer
Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
  フィルタープルーニングは、畳み込みニューラルネットワーク(CNN)を加速および圧縮する最も効果的な方法の1つです。この作業では、ゲートデコレータと呼ばれるグローバルフィルタプルーニングアルゴリズムを提案します。これは、バニラCNNモジュールの出力にチャネルごとのスケーリング係数、つまりゲートを掛けることにより変換します。スケーリング係数がゼロに設定されている場合、対応するフィルターを削除することと同じです。テイラー展開を使用して、スケーリング係数をゼロに設定することによって生じる損失関数の変化を推定し、グローバルフィルターの重要度ランキングの推定を使用します。次に、これらの重要でないフィルターを削除してネットワークを整理します。プルーニングの後、すべてのスケーリング係数を元のモジュールにマージするため、特別な操作や構造は導入されません。さらに、プルーニングの精度を向上させるために、Tick-Tockと呼ばれる反復プルーニングフレームワークを提案します。広範な実験は、我々のアプローチの有効性を実証しています。たとえば、ResNet-56で最先端の枝刈り率を達成するには、目立った精度の損失なしに70%のFLOPを削減します。 ImageNet上のResNet-50の場合、FLOPを40%削減した剪定モデルは、ベースラインモデルよりもトップ1の精度で0.31%優れています。 CIFAR-10、CIFAR-100、CUB-200、ImageNet ILSVRC-12、PASCAL VOC 2011など、さまざまなデータセットが使用されます。コードはで入手できます。
Filter pruning is one of the most effective ways to accelerate and compress convolutional neural networks (CNNs). In this work, we propose a global filter pruning algorithm called Gate Decorator, which transforms a vanilla CNN module by multiplying its output by the channel-wise scaling factors, i.e. gate. When the scaling factor is set to zero, it is equivalent to removing the corresponding filter. We use Taylor expansion to estimate the change in the loss function caused by setting the scaling factor to zero and use the estimation for the global filter importance ranking. Then we prune the network by removing those unimportant filters. After pruning, we merge all the scaling factors into its original module, so no special operations or structures are introduced. Moreover, we propose an iterative pruning framework called Tick-Tock to improve pruning accuracy. The extensive experiments demonstrate the effectiveness of our approaches. For example, we achieve the state-of-the-art pruning ratio on ResNet-56 by reducing 70% FLOPs without noticeable loss in accuracy. For ResNet-50 on ImageNet, our pruned model with 40% FLOPs reduction outperforms the baseline model by 0.31% in top-1 accuracy. Various datasets are used, including CIFAR-10, CIFAR-100, CUB-200, ImageNet ILSVRC-12 and PASCAL VOC 2011. Code is available at
updated: Wed Sep 18 2019 02:28:56 GMT+0000 (UTC)
published: Wed Sep 18 2019 02:28:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト