モデルの剪定は、ディープニューラルネットワーク(DNN)のモデルサイズまたは計算のオーバーヘッドを削減することを目的としています。 DNNのチャネル有意性を評価するl-1プルーニングなどの従来のモデルプルーニング方法は、各チャネルのローカル分析に過度の注意を払い、バッチ正規化(BN)との関連性を無視して機能全体の大きさを利用します。各畳み込み操作後のReLU層。これらの問題を克服するために、本論文では勾配流の新しい観点から新しいモデル剪定法を提案した。具体的には、まず、BN層とReLU活性化関数の効果を統合することにより、テイラー展開に基づくチャネルの影響を理論的に分析します。次に、スケーリングパラメータとシフトパラメータの1次Talyor多項式をBN層に組み込むことで、DNNのチャネルの重要性を効果的に示すことができます。画像分類と画像ノイズ除去タスクの両方に関する包括的な実験は、提案された新しい理論とスキームの優位性を示しています。コードはhttps://github.com/CityU-AIM-Group/GFBSで入手できます。
Model pruning aims to reduce the deep neural network (DNN) model size or computational overhead. Traditional model pruning methods such as l-1 pruning that evaluates the channel significance for DNN pay too much attention to the local analysis of each channel and make use of the magnitude of the entire feature while ignoring its relevance to the batch normalization (BN) and ReLU layer after each convolutional operation. To overcome these problems, we propose a new model pruning method from a new perspective of gradient flow in this paper. Specifically, we first theoretically analyze the channel's influence based on Taylor expansion by integrating the effects of BN layer and ReLU activation function. Then, the incorporation of the first-order Talyor polynomial of the scaling parameter and the shifting parameter in the BN layer is suggested to effectively indicate the significance of a channel in a DNN. Comprehensive experiments on both image classification and image denoising tasks demonstrate the superiority of the proposed novel theory and scheme. Code is available at https://github.com/CityU-AIM-Group/GFBS.