arXiv reaDer
SInGE:ニューロン関連性の統合勾配推定によるスパース性
SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance
最先端のコンピュータービジョン手法のパフォーマンスの飛躍は、ディープニューラルネットワークの開発に起因しています。ただし、多くの場合、計算コストがかかるため、展開が妨げられる可能性があります。この制限を緩和するために、構造化プルーニングは、チャネル、ニューロン、またはフィルターを削除することで構成されるよく知られた手法であり、よりコンパクトなモデルを作成するために一般的に適用されます。ほとんどの場合、削除する計算は、相対的な重要度の基準に基づいて選択されます。同時に、説明可能な予測モデルの必要性が大幅に高まり、入力画像または特徴マップのピクセルの相対的な重要性を強調する堅牢な帰属方法の開発を動機付けました。この作業では、既存の剪定ヒューリスティックの制限について説明します。その中には、マグニチュードと勾配ベースの方法があります。アトリビューション手法からインスピレーションを得て、新しい統合勾配剪定基準を設計します。この基準では、各ニューロンの関連性が、このニューロンの除去に向かう経路上の勾配変動の積分として定義されます。さらに、パラメータを削除しながらDNNの精度をよりよく維持するために、絡み合ったDNNプルーニングおよび微調整フローチャートを提案します。いくつかのデータセット、アーキテクチャ、およびプルーニングシナリオの広範な検証を通じて、SInGEと呼ばれる提案された方法が、既存の最先端のDNNプルーニング方法を大幅に上回っていることを示します。
The leap in performance in state-of-the-art computer vision methods is attributed to the development of deep neural networks. However it often comes at a computational price which may hinder their deployment. To alleviate this limitation, structured pruning is a well known technique which consists in removing channels, neurons or filters, and is commonly applied in order to produce more compact models. In most cases, the computations to remove are selected based on a relative importance criterion. At the same time, the need for explainable predictive models has risen tremendously and motivated the development of robust attribution methods that highlight the relative importance of pixels of an input image or feature map. In this work, we discuss the limitations of existing pruning heuristics, among which magnitude and gradient-based methods. We draw inspiration from attribution methods to design a novel integrated gradient pruning criterion, in which the relevance of each neuron is defined as the integral of the gradient variation on a path towards this neuron removal. Furthermore, we propose an entwined DNN pruning and fine-tuning flowchart to better preserve DNN accuracy while removing parameters. We show through extensive validation on several datasets, architectures as well as pruning scenarios that the proposed method, dubbed SInGE, significantly outperforms existing state-of-the-art DNN pruning methods.
updated: Fri Jul 08 2022 18:27:42 GMT+0000 (UTC)
published: Fri Jul 08 2022 18:27:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト