arXiv reaDer
Structural Compression of Convolutional Neural Networks
 ディープたたみ込みニューラルネットワーク(CNN)は、マシンビジョンの多くのタスクで成功していますが、CNNの何千ものたたみ込みフィルターの形の数百万の重みは、人間による科学の解釈や理解を困難にします。この記事では、元の精度に近づきながら、より小さくて解釈可能なCNNを取得する貪欲な構造圧縮スキームであるCARを紹介します。圧縮は、分類精度への寄与が最も少ない剪定フィルターに基づいています。 CARで圧縮されたCNNの解釈可能性を示すために、カラーフィルターなどの視覚的に冗長な機能を備えたフィルターが、フィルターによって排除されることを示します。これらの圧縮ネットワークは、桁数が少ないフィルターで非圧縮ネットワークのフィルターの多様性を維持するため、解釈が容易です。最後に、CARのバリアントが導入され、各CNNフィルターに対する各画像カテゴリの重要性が定量化されます。特に、最も重要なクラスラベルと最も重要でないクラスラベルは、各フィルターの意味のある解釈であることが示されています。
Deep convolutional neural networks (CNNs) have been successful in many tasks in machine vision, however, millions of weights in the form of thousands of convolutional filters in CNNs makes them difficult for human intepretation or understanding in science. In this article, we introduce CAR, a greedy structural compression scheme to obtain smaller and more interpretable CNNs, while achieving close to original accuracy. The compression is based on pruning filters with the least contribution to the classification accuracy. We demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant functionalities such as color filters. These compressed networks are easier to interpret because they retain the filter diversity of uncompressed networks with order of magnitude less filters. Finally, a variant of CAR is introduced to quantify the importance of each image category to each CNN filter. Specifically, the most and the least important class labels are shown to be meaningful interpretations of each filter.
updated: Wed Mar 25 2020 10:49:13 GMT+0000 (UTC)
published: Sat May 20 2017 20:12:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト