arXiv reaDer
機能指向畳み込みフィルターのプルーニング
Functionality-Oriented Convolutional Filter Pruning
  畳み込みニューラルネットワーク(CNN)の洗練された構造により、卓越したパフォーマンスが可能になりますが、計算が集中します。このような構造には重大な冗長性が必然的に存在するため、計算コストを削減するために畳み込みフィルターを除去するための多くの研究が提案されています。非常に効果的ですが、ほとんどの作品は畳み込みフィルターの定量的特性のみに基づいており、個々のフィルターの特定の機能の定性的解釈を見落としています。この作業では、さまざまな観点から畳み込みフィルターの機能と冗長性を解釈し、機能指向のフィルタープルーニング方法を提案しました。広範な実験結果により、大きさに関係なく畳み込みフィルターの質的な重要性を証明し、フィルター機能の繰り返しによる重要なニューラルネットワークの冗長性を実証し、不適切な再トレーニングプロセス下でのフィルター機能の欠陥を分析しました。このような解釈可能なプルーニングアプローチは、以前のフィルタープルーニングメソッドよりも優れた計算コスト最適化を提供するだけでなく、フィルタープルーニングプロセスも解釈します。
The sophisticated structure of Convolutional Neural Network (CNN) allows for outstanding performance, but at the cost of intensive computation. As significant redundancies inevitably present in such a structure, many works have been proposed to prune the convolutional filters for computation cost reduction. Although extremely effective, most works are based only on quantitative characteristics of the convolutional filters, and highly overlook the qualitative interpretation of individual filter's specific functionality. In this work, we interpreted the functionality and redundancy of the convolutional filters from different perspectives, and proposed a functionality-oriented filter pruning method. With extensive experiment results, we proved the convolutional filters' qualitative significance regardless of magnitude, demonstrated significant neural network redundancy due to repetitive filter functions, and analyzed the filter functionality defection under inappropriate retraining process. Such an interpretable pruning approach not only offers outstanding computation cost optimization over previous filter pruning methods, but also interprets filter pruning process.
updated: Thu Sep 12 2019 03:24:06 GMT+0000 (UTC)
published: Fri Oct 12 2018 20:39:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト