arXiv reaDer
Domino Saliency Metrics:構造情報を使用した既存のチャネルSaliencyメトリックの改善
Domino Saliency Metrics: Improving Existing Channel Saliency Metrics with Structural Information
チャネルプルーニングは、畳み込みニューラルネットワーク(CNN)の重みの数を減らすために使用されます。チャネルプルーニングは、畳み込み層が密なままになるように、重みテンソルのスライスを削除します。単一のレイヤーからこれらのウェイトスライスを削除すると、ネットワークのレイヤー間でフィーチャマップの数が一致しなくなります。簡単な解決策は、後続のレイヤーからウェイトスライスを削除することで、レイヤー間のフィーチャマップの数を強制的に一致させることです。この追加の制約は、ネットワークの密度を維持するために複数のチャネルを一緒にプルーニングする必要があるブランチを持つDNNでより明らかになります。一般的な剪定の顕著性メトリックは、ブランチを持つDNNで発生する構造的な依存関係を考慮していません。これらの構造上の制約を反映するために、Dominoメトリック(既存のチャネル顕著性メトリックに基づいて構築)を提案します。ブランチを持つ複数のネットワークで、ベースラインチャネルの顕著性メトリックに対してDominoの顕著性メトリックをテストします。 Dominoの顕著性メトリックは、テストされたほとんどのネットワークでプルーニング率を改善し、CIFAR-10のAlexNetで最大25%改善しました。
Channel pruning is used to reduce the number of weights in a Convolutional Neural Network (CNN). Channel pruning removes slices of the weight tensor so that the convolution layer remains dense. The removal of these weight slices from a single layer causes mismatching number of feature maps between layers of the network. A simple solution is to force the number of feature map between layers to match through the removal of weight slices from subsequent layers. This additional constraint becomes more apparent in DNNs with branches where multiple channels need to be pruned together to keep the network dense. Popular pruning saliency metrics do not factor in the structural dependencies that arise in DNNs with branches. We propose Domino metrics (built on existing channel saliency metrics) to reflect these structural constraints. We test Domino saliency metrics against the baseline channel saliency metrics on multiple networks with branches. Domino saliency metrics improved pruning rates in most tested networks and up to 25% in AlexNet on CIFAR-10.
updated: Sun Jun 19 2022 12:01:28 GMT+0000 (UTC)
published: Wed May 04 2022 15:37:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト