驚くべきパフォーマンスにもかかわらず、現代のディープニューラルネットワークは必然的に学習と展開のためにかなりの量の計算コストを伴い、エッジデバイスでの使用と互換性がない可能性があります。これらのオーバーヘッドを削減するための最近の取り組みには、パフォーマンスを低下させることなく、さまざまなレイヤーのパラメーターを整理および分解することが含まれます。いくつかの分解研究に触発されて、この論文では、核ノルム(NN)を使用してネットワーク内の各フィルターの重要性を定量化する新しいエネルギー認識剪定方法を提案します。提案されたエネルギー認識プルーニングは、きめ細かい分類タスクの後、CIFAR-10およびImageNet上の複数のネットワークアーキテクチャを使用した幅広いシナリオで、トップ1の精度、FLOP、およびパラメーター削減のための最先端のパフォーマンスをもたらします。おもちゃの実験では、微調整せずに、NNがクラス間で決定境界にわずかな変化をもたらし、以前の一般的な基準を上回っていることを視覚的に観察できます。 CIFAR-10のResNet-56/110で、トップ1の精度がそれぞれ94.13 / 94.61%で、FLOPが40.4 / 49.8%、パラメーターが45.9 / 52.9%減少し、競争力のある結果が得られました。さらに、私たちの観察は、データサイズとデータ品質の点でさまざまな異なる剪定設定で一貫しており、精度の低下を無視して加速と圧縮の安定性を強調することができます。
Despite the remarkable performance, modern deep neural networks are inevitably accompanied by a significant amount of computational cost for learning and deployment, which may be incompatible with their usage on edge devices. Recent efforts to reduce these overheads involve pruning and decomposing the parameters of various layers without performance deterioration. Inspired by several decomposition studies, in this paper, we propose a novel energy-aware pruning method that quantifies the importance of each filter in the network using nuclear-norm (NN). Proposed energy-aware pruning leads to state-of-the-art performance for Top-1 accuracy, FLOPs, and parameter reduction across a wide range of scenarios with multiple network architectures on CIFAR-10 and ImageNet after fine-grained classification tasks. On toy experiment, without fine-tuning, we can visually observe that NN has a minute change in decision boundaries across classes and outperforms the previous popular criteria. We achieve competitive results with 40.4/49.8% of FLOPs and 45.9/52.9% of parameter reduction with 94.13/94.61% in the Top-1 accuracy with ResNet-56/110 on CIFAR-10, respectively. In addition, our observations are consistent for a variety of different pruning setting in terms of data size as well as data quality which can be emphasized in the stability of the acceleration and compression with negligible accuracy loss.