ネットワーク圧縮は、推論中のメモリと計算コストを削減できるため、広く研究されてきました。ただし、以前の方法では、残余接続、グループ/深さ方向の畳み込み、複数の層のチャネルが結合されて同時にプルーニングする必要がある機能ピラミッドネットワークなどの複雑な構造を扱うことはめったにありません。この論文では、さまざまな複雑な構造に適用できる一般的なチャネルプルーニングアプローチを紹介します。特に、結合チャネルを自動的に見つけるためのレイヤーグループ化アルゴリズムを提案します。次に、フィッシャー情報に基づいて統一されたメトリックを導出し、単一チャネルと結合チャネルの重要性を評価します。さらに、GPUでの推論の高速化は、FLOPよりもメモリの削減と相関していることがわかりました。したがって、重要性を正規化するために、各チャネルのメモリ削減を採用しています。私たちの方法は、結合されたチャネルを持つ構造を含むすべての構造を剪定するために使用できます。従来のResNetとResNeXt、モバイル対応のMobileNetV2、NASベースのRegNetなど、さまざまなバックボーンで、画像分類と未踏のオブジェクト検出の両方について広範な実験を行っています。実験結果は、私たちの方法が高度なネットワークを効果的に整理し、精度を犠牲にすることなく推論速度を向上させることができることを検証しています。
Network compression has been widely studied since it is able to reduce the memory and computation cost during inference. However, previous methods seldom deal with complicated structures like residual connections, group/depth-wise convolution and feature pyramid network, where channels of multiple layers are coupled and need to be pruned simultaneously. In this paper, we present a general channel pruning approach that can be applied to various complicated structures. Particularly, we propose a layer grouping algorithm to find coupled channels automatically. Then we derive a unified metric based on Fisher information to evaluate the importance of a single channel and coupled channels. Moreover, we find that inference speedup on GPUs is more correlated with the reduction of memory rather than FLOPs, and thus we employ the memory reduction of each channel to normalize the importance. Our method can be used to prune any structures including those with coupled channels. We conduct extensive experiments on various backbones, including the classic ResNet and ResNeXt, mobile-friendly MobileNetV2, and the NAS-based RegNet, both on image classification and object detection which is under-explored. Experimental results validate that our method can effectively prune sophisticated networks, boosting inference speed without sacrificing accuracy.