構造化されたチャネル プルーニングは、最新のハードウェアでの畳み込みニューラル ネットワーク (CNN) の推論時間を大幅に短縮することが示されていますが、ネットワークの精度は比較的わずかに低下します。最近の作業では、トレーニング中にこれらのチャネルを永久にゼロにしています。これは、特にネットワークの剪定される割合が増加するにつれて、最終的な精度を大幅に妨げることが観察されています。コスト制約付きチャネル プルーニング (SMCP) のソフト マスキングを提案して、プルーニングされたチャネルがネットワークに適応的に戻り、同時にターゲット コスト制約に向かってプルーニングできるようにします。入力チャネルを削除するという観点から、重みのソフト マスクの再パラメータ化とチャネルの刈り込みを追加することで、以前に刈り込まれたチャネルへの勾配の更新と、チャネルが後でネットワークに戻る機会を可能にします。次に、入力チャネルの枝刈りをグローバル リソース割り当て問題として定式化します。私たちの方法は、ImageNet 分類と PASCAL VOC 検出データセットの両方で以前の作業よりも優れています。
Structured channel pruning has been shown to significantly accelerate inference time for convolution neural networks (CNNs) on modern hardware, with a relatively minor loss of network accuracy. Recent works permanently zero these channels during training, which we observe to significantly hamper final accuracy, particularly as the fraction of the network being pruned increases. We propose Soft Masking for cost-constrained Channel Pruning (SMCP) to allow pruned channels to adaptively return to the network while simultaneously pruning towards a target cost constraint. By adding a soft mask re-parameterization of the weights and channel pruning from the perspective of removing input channels, we allow gradient updates to previously pruned channels and the opportunity for the channels to later return to the network. We then formulate input channel pruning as a global resource allocation problem. Our method outperforms prior works on both the ImageNet classification and PASCAL VOC detection datasets.