ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズを削減するために広く使用されている手法です。ただし、一般的な3段階のパイプライン、つまりトレーニング、プルーニング、および再トレーニング(微調整)により、トレーニングトレイル全体が大幅に増加します。この論文では、サロゲートラグランジュ緩和(SLR)に基づく体系的な重み剪定最適化アプローチを開発します。これは、高速収束を保証しながら、重み剪定問題の離散的な性質によって引き起こされる問題を克服するように調整されます。二次ペナルティを使用して、SLRの収束をさらに加速します。トレーニングフェーズ中にSLRによって取得されたモデルパラメータは、他の最先端の方法によって取得されたものと比較して、最適値にはるかに近くなっています。画像分類タスク、すなわちImageNetを使用するResNet-18とResNet-50、およびCIFAR-10を使用するResNet-18、ResNet-50とVGG-16、およびオブジェクト検出タスク、すなわちYOLOv3とYOLOv3-COCO2014を使用したtinyおよびTuSimpleレーン検出データセットを使用した超高速レーン検出。実験結果は、SLRベースのウェイトプルーニング最適化アプローチが、同じ精度要件の下で最先端のものよりも高い圧縮率を達成することを示しています。また、再トレーニングなしでハードプルーニング段階でも高いモデル精度を実現します(従来の3段階の剪定を2段階に減らします)。エポックの再トレーニングの予算が限られていることを考えると、私たちのアプローチはモデルの精度をすばやく回復します。
Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We further accelerate the convergence of the SLR by using quadratic penalties. Model parameters obtained by SLR during the training phase are much closer to their optimal values as compared to those obtained by other state-of-the-art methods. We evaluate the proposed method on image classification tasks, i.e., ResNet-18 and ResNet-50 using ImageNet, and ResNet-18, ResNet-50 and VGG-16 using CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014 and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Experimental results demonstrate that our SLR-based weight-pruning optimization approach achieves higher compression rate than state-of-the-arts under the same accuracy requirement. It also achieves a high model accuracy even at the hard-pruning stage without retraining (reduces the traditional three-stage pruning to two-stage). Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.