arXiv reaDer
Pruning Deep Neural Networks using Partial Least Squares
  最新のパターン認識方法は、分類に役立つ複雑なパターンを学習できるため、畳み込みネットワークに基づいています。ただし、畳み込みネットワークは計算コストが高く、大量のメモリを必要とするため、低電力でリソースに制約のあるシステムへの展開が制限されます。これらの問題を処理するために、最近のアプローチでは、これらのネットワークで重要でないニューロン(つまり、フィルター)を見つけて削除するプルーニング戦略を提案しています。驚くべき結果を達成したにもかかわらず、既存のプルーニングアプローチは、元のネットワークの精度が低下するため、効果的ではありません。この作業では、畳み込みネットワークからフィルターを効率的に削除するための新しいアプローチを提案します。このアプローチでは、低次元空間上のクラスラベルとの関係に基づいてフィルターの重要度を推定します。この関係は、部分最小二乗(PLS)と投影の変数重要度(VIP)を使用して計算されます。この方法では、ネットワークの精度を犠牲にすることなく、浮動小数点演算(FLOP)の最大67%を削減できます。わずかな精度の低下で、最大90%のFLOPを削減できます。さらに、この方法では、元の枝刈りされていないネットワークと比較して精度を改善できる場合もあります。削除するフィルターを検出するための基準としてPLS + VIPを使用することは、最先端の枝刈り方法で使用されている最近の特徴選択技術よりも優れていることを示しています。最後に、提案された方法が、最先端の枝刈りアプローチと比較した場合、最高のFLOP削減と精度の最小低下を達成することを示します。コードは、で入手できます。
Modern pattern recognition methods are based on convolutional networks since they are able to learn complex patterns that benefit the classification. However, convolutional networks are computationally expensive and require a considerable amount of memory, which limits their deployment on low-power and resource-constrained systems. To handle these problems, recent approaches have proposed pruning strategies that find and remove unimportant neurons (i.e., filters) in these networks. Despite achieving remarkable results, existing pruning approaches are ineffective since the accuracy of the original network is degraded. In this work, we propose a novel approach to efficiently remove filters from convolutional networks. Our approach estimates the filter importance based on its relationship with the class label on a low-dimensional space. This relationship is computed using Partial Least Squares (PLS) and Variable Importance in Projection (VIP). Our method is able to reduce up to 67% of the floating point operations (FLOPs) without penalizing the network accuracy. With a negligible drop in accuracy, we can reduce up to 90% of FLOPs. Additionally, sometimes the method is even able to improve the accuracy compared to original, unpruned, network. We show that employing PLS+VIP as the criterion for detecting the filters to be removed is better than recent feature selection techniques, which have been employed by state-of-the-art pruning methods. Finally, we show that the proposed method achieves the highest FLOPs reduction and the smallest drop in accuracy when compared to state-of-the-art pruning approaches. Codes are available at:
updated: Thu Sep 19 2019 14:33:14 GMT+0000 (UTC)
published: Wed Oct 17 2018 15:24:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト