チャネルプルーニングは、畳み込みニューラルネットワーク(CNN)を圧縮するための一般的な手法であり、冗長フィルターを削除するためにさまざまなプルーニング基準が提案されています。包括的な実験から、剪定基準の研究で2つの盲点が見つかりました。(1)類似性:広く引用および比較されているいくつかの主要な剪定基準には、いくつかの強い類似性があります。これらの基準によると、フィルターの重要度スコアのランクはほぼ同じであり、同様の剪定構造になります。 (2)適用性:いくつかのプルーニング基準によって測定されたフィルターの重要度スコアは、ネットワークの冗長性を十分に区別するには近すぎます。このホワイトペーパーでは、レイヤーワイズプルーニングまたはグローバルプルーニングを使用したさまざまなタイプのプルーニング基準で、これら2つの死角を分析します。分析は、経験的実験と、十分にトレーニングされた畳み込みフィルターが各層をほぼガウス分布に従うという仮定(畳み込み重み分布仮定)に基づいています。この仮定は、体系的かつ広範な統計的検定によって検証されています。
Channel pruning is a popular technique for compressing convolutional neural networks (CNNs), where various pruning criteria have been proposed to remove the redundant filters. From our comprehensive experiments, we found two blind spots in the study of pruning criteria: (1) Similarity: There are some strong similarities among several primary pruning criteria that are widely cited and compared. According to these criteria, the ranks of filters'Importance Score are almost identical, resulting in similar pruned structures. (2) Applicability: The filters'Importance Score measured by some pruning criteria are too close to distinguish the network redundancy well. In this paper, we analyze these two blind spots on different types of pruning criteria with layer-wise pruning or global pruning. The analyses are based on the empirical experiments and our assumption (Convolutional Weight Distribution Assumption) that the well-trained convolutional filters each layer approximately follow a Gaussian-alike distribution. This assumption has been verified through systematic and extensive statistical tests.