チャネルプルーニングは、CNNの圧縮に長い間採用されてきました。これにより、全体的な計算が大幅に削減されます。以前の作業では、説明できない方法でチャネルプルーニングが実装されています。これにより、各チャネルの内部影響を考慮せずに、最終的な分類エラーが減少する傾向があります。この論文では、ホワイトボックス内でチャネルプルーニングを実行します。さまざまなチャネルによってアクティブ化された特徴マップの詳細な視覚化を通じて、さまざまなチャネルが画像分類のさまざまなカテゴリにさまざまな貢献をしていることがわかります。これに触発されて、私たちはほとんどのカテゴリーに貢献するチャンネルを保存することを選択します。具体的には、差別化カテゴリへの各チャネルの寄与をモデル化するために、入力画像のカテゴリに対して動的トレーニング方法で実装された、各チャネルのクラスごとのマスクを開発します。学習したクラスごとのマスクに基づいて、グローバル投票メカニズムを実行し、カテゴリの識別が少ないチャネルを削除します。最後に、プルーニングされたモデルのパフォーマンスを回復するために微調整プロセスが実行されます。私たちの知る限り、CNNの解釈可能性理論がチャネルの剪定を導くと考えられるのは初めてです。広範な実験により、ホワイトボックスが多くの最先端技術よりも優れていることが実証されています。たとえば、CIFAR-10では、ResNet-110の精度が0.62%向上し、65.23%のFLOPが削減されます。 ILSVRC-2012では、White-Boxは45.6%のFLOP削減を達成し、ResNet-50のトップ1の精度で0.83%のわずかな損失しかありません。コード、トレーニングログ、および削除されたモデルは、https://github.com/zyxxmu/White-Boxで匿名で入手できます。
Channel Pruning has been long adopted for compressing CNNs, which significantly reduces the overall computation. Prior works implement channel pruning in an unexplainable manner, which tends to reduce the final classification errors while failing to consider the internal influence of each channel. In this paper, we conduct channel pruning in a white box. Through deep visualization of feature maps activated by different channels, we observe that different channels have a varying contribution to different categories in image classification. Inspired by this, we choose to preserve channels contributing to most categories. Specifically, to model the contribution of each channel to differentiating categories, we develop a class-wise mask for each channel, implemented in a dynamic training manner w.r.t. the input image's category. On the basis of the learned class-wise mask, we perform a global voting mechanism to remove channels with less category discrimination. Lastly, a fine-tuning process is conducted to recover the performance of the pruned model. To our best knowledge, it is the first time that CNN interpretability theory is considered to guide channel pruning. Extensive experiments demonstrate the superiority of our White-Box over many state-of-the-arts. For instance, on CIFAR-10, it reduces 65.23% FLOPs with even 0.62% accuracy improvement for ResNet-110. On ILSVRC-2012, White-Box achieves a 45.6% FLOPs reduction with only a small loss of 0.83% in the top-1 accuracy for ResNet-50. Code, training logs and pruned models are anonymously at https://github.com/zyxxmu/White-Box.