ディープニューラルネットワーク(DNN)は、最近多くのコンピュータービジョンタスクで目覚ましい成功を収めていますが、膨大な数のパラメーターと高い計算オーバーヘッドにより、リソースに制約のあるエッジデバイスへの展開が妨げられています。チャネルプルーニングは、DNNモデルを圧縮するための効果的なアプローチであることに注意してください。重要な課題は、モデルの精度が悪影響を受けないように、削除するチャネルを決定することです。この論文では、最初に空間的およびチャネル注意(SCA)を提案します。これは、空間的注意とチャネル注意の両方を組み合わせた新しい注意モジュールであり、それぞれ「場所」と「何」が最も有益な部分に焦点を当てます。チャネルの重要性を測定するためにSCAによって生成されたスケール値に基づいて、空間およびチャネル注意(CPSCA)に基づいたチャネルプルーニングと呼ばれる新しいチャネルプルーニングアプローチをさらに提案します。実験結果は、SCAが他の最先端の注意モジュールと比較して、無視できるほど余分なリソース消費を招きながら、最高の推論精度を達成することを示しています。 2つのベンチマークデータセットに対する評価では、SCAのガイダンスにより、CPSCAアプローチは、同じ剪定比率で他の最先端の剪定方法よりも高い推論精度を達成することが示されています。
Deep Neural Networks (DNNs) have achieved remarkable success in many computer vision tasks recently, but the huge number of parameters and the high computation overhead hinder their deployments on resource-constrained edge devices. It is worth noting that channel pruning is an effective approach for compressing DNN models. A critical challenge is to determine which channels are to be removed, so that the model accuracy will not be negatively affected. In this paper, we first propose Spatial and Channel Attention (SCA), a new attention module combining both spatial and channel attention that respectively focuses on "where" and "what" are the most informative parts. Guided by the scale values generated by SCA for measuring channel importance, we further propose a new channel pruning approach called Channel Pruning guided by Spatial and Channel Attention (CPSCA). Experimental results indicate that SCA achieves the best inference accuracy, while incurring negligibly extra resource consumption, compared to other state-of-the-art attention modules. Our evaluation on two benchmark datasets shows that, with the guidance of SCA, our CPSCA approach achieves higher inference accuracy than other state-of-the-art pruning methods under the same pruning ratios.