arXiv reaDer
重み依存性に基づく多基準によるチャネルプルーニング
Channel Pruning via Multi-Criteria based on Weight Dependency
チャネルプルーニングは、ConvNetの圧縮におけるその有効性を実証しています。多くの従来技術では、出力特徴マップの重要性は、関連するフィルタによってのみ決定されます。ただし、これらのメソッドは、フィーチャマップが削除されると消える次のレイヤーの重みのごく一部を無視します。それらは重みの依存関係を無視します。さらに、多くの剪定方法は、評価に1つの基準のみを使用し、試行錯誤の方法で剪定構造と精度のスイートスポットを見つけます。これには時間がかかる場合があります。上記の問題に対処するために、さまざまなモデルを効率的に圧縮できる、重み依存性に基づく多基準CPMCを介したチャネルプルーニングアルゴリズムを提案しました。特徴マップの重要性は、関連する重み値、計算コスト、パラメーター量など、3つの側面で設計されています。重み依存の現象を使用します。関連するフィルターと次のレイヤーの対応する部分重みを評価することで重要性を取得します。次に、グローバル正規化を使用して、クロスレイヤー比較を実現します。私たちの方法では、VGGNet、ResNet、DenseNetなどのさまざまなCNNモデルをさまざまな画像分類データセットで圧縮できます。広範な実験により、CPMCは他のCPMCよりも大幅に優れていることが示されています。
Channel pruning has demonstrated its effectiveness in compressing ConvNets. In many prior arts, the importance of an output feature map is only determined by its associated filter. However, these methods ignore a small part of weights in the next layer which disappears as the feature map is removed. They ignore the dependency of the weights. In addition, many pruning methods use only one criterion for evaluation, and find a sweet-spot of pruning structure and accuracy in a trial-and-error fashion, which can be time-consuming. To address the above issues, we proposed a channel pruning algorithm via multi-criteria based on weight dependency, CPMC, which can compress a variety of models efficiently. We design the importance of the feature map in three aspects, including its associated weight value, computational cost, and parameter quantity. Use the phenomenon of weight dependency, We get the importance by assessing its associated filter and the corresponding partial weights of the next layer. Then we use global normalization to achieve cross-layer comparison. Our method can compress various CNN models, including VGGNet, ResNet, and DenseNet, on various image classification datasets. Extensive experiments have shown CPMC outperforms the others significantly.
updated: Tue Dec 08 2020 03:20:03 GMT+0000 (UTC)
published: Fri Nov 06 2020 09:12:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト