arXiv reaDer
効率的なディープネットワークのためのデータに依存しないフィルターゲーティング
Data Agnostic Filter Gating for Efficient Deep Networks
十分にトレーニングされたCNNモデルをローエンドの計算エッジデバイスに展開するには、通常、特定の計算バジェット(FLOPなど)の下でモデルを圧縮またはプルーニングすることになっています。現在のフィルタープルーニング方法は、主に特徴マップを利用してフィルターの重要なスコアを生成し、スコアが小さいものをプルーニングします。これは、フィルター上のスパース構造の違いに対する入力バッチの分散を無視します。この論文では、Daggerモジュールという名前の補助ネットワークを使用して剪定を誘導し、事前にトレーニングされた重みを入力として使用して各フィルターの重要性を学習する、データに依存しないフィルター剪定方法を提案します。さらに、特定のFLOP制約のあるフィルターのプルーニングを支援するために、明示的なFLOP対応の正則化を利用して、ターゲットFLOPに向けてフィルターのプルーニングを直接促進します。 CIFAR-10およびImageNetデータセットに関する広範な実験結果は、他の最先端のフィルター剪定方法に対する当社の優位性を示しています。たとえば、50%FLOPs ResNet-50は、ImageNetデータセットで76.1%のトップ1精度を達成でき、他の多くのフィルタープルーニング方法を上回ります。
To deploy a well-trained CNN model on low-end computation edge devices, it is usually supposed to compress or prune the model under certain computation budget (e.g., FLOPs). Current filter pruning methods mainly leverage feature maps to generate important scores for filters and prune those with smaller scores, which ignores the variance of input batches to the difference in sparse structure over filters. In this paper, we propose a data agnostic filter pruning method that uses an auxiliary network named Dagger module to induce pruning and takes pretrained weights as input to learn the importance of each filter. In addition, to help prune filters with certain FLOPs constraints, we leverage an explicit FLOPs-aware regularization to directly promote pruning filters toward target FLOPs. Extensive experimental results on CIFAR-10 and ImageNet datasets indicate our superiority to other state-of-the-art filter pruning methods. For example, our 50% FLOPs ResNet-50 can achieve 76.1% Top-1 accuracy on ImageNet dataset, surpassing many other filter pruning methods.
updated: Wed Oct 28 2020 15:26:40 GMT+0000 (UTC)
published: Wed Oct 28 2020 15:26:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト