arXiv reaDer
Eltwise Blocked CNNプルーニングのための有向重み付けグループLasso
Directed-Weighting Group Lasso for Eltwise Blocked CNN Pruning
  Eltwiseレイヤーは、マルチブランチディープラーニングネットワークで一般的に使用される構造です。フィルター単位の枝刈り手順では、eltwise層の特定の操作により、以前のすべての畳み込み層が、インデックスによるフィルターを枝刈りする必要があるかどうかを投票する必要があります。投票されたフィルターの交差部分のみがプルーニングされるため、圧縮率は制限されます。この作業では、Directed-Weighting Group Lasso(DWGL)と呼ばれる方法を提案します。これは、フィルターレベルのグループラッソアイテムにインデックス単位の増分(有向)係数を適用します。剪定される傾向があります。 DWGLを使用すると、投票プロセス中に保持されるフィルターの数がはるかに少なくなり、圧縮率を上げることができます。このペーパーでは、ResNetシリーズネットワークで提案された方法をテストします。 CIFAR-10では、0.94%のエラーインクリメントでResNet-56で75.34%の圧縮率を達成し、0.72%のエラーインクリメントでResNet-20で52.06%の圧縮率を達成しました。 ImageNetでは、ResNet-50で0.6%のエラー増分で53%の圧縮率を達成し、ネットワークを2.23倍高速化しました。さらに、ResNet-50で1.2%のエラー増分で75%の圧縮率を達成し、ネットワークを4倍高速化しました。
Eltwise layer is a commonly used structure in the multi-branch deep learning network. In a filter-wise pruning procedure, due to the specific operation of the eltwise layer, all its previous convolutional layers should vote for which filters by index should be pruned. Since only an intersection of the voted filters is pruned, the compression rate is limited. This work proposes a method called Directed-Weighting Group Lasso (DWGL), which enforces an index-wise incremental (directed) coefficient on the filterlevel group lasso items, so that the low index filters getting high activation tend to be kept while the high index ones tend to be pruned. When using DWGL, much fewer filters are retained during the voting process and the compression rate can be boosted. The paper test the proposed method on the ResNet series networks. On CIFAR-10, it achieved a 75.34% compression rate on ResNet-56 with a 0.94% error increment, and a 52.06% compression rate on ResNet-20 with a 0.72% error increment. On ImageNet, it achieved a 53% compression rate with ResNet-50 with a 0.6% error increment, speeding up the network by 2.23 times. Furthermore, it achieved a 75% compression rate on ResNet-50 with a 1.2% error increment, speeding up the network by 4 times.
updated: Mon Oct 21 2019 12:51:11 GMT+0000 (UTC)
published: Mon Oct 21 2019 12:51:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト