arXiv reaDer
Filter Distillation for Network Compression
 この論文では、使いやすく効果的なニューラルネットワーク圧縮方法であるプリンシパルフィルター分析(PFA)を紹介します。 PFAは、ネットワーク層内のフィルター応答間の相関関係を活用して、フルモデルの精度を可能な限り維持する小規模ネットワークを推奨します。 2つ目のアルゴリズムを提案します:1つ目は、ユーザーがトレーニング可能な変数(フットプリント)の数などの特定のネットワークプロパティに圧縮のターゲットを設定し、それぞれの応答で最大量のスペクトルエネルギーを維持しながら、要求されたプロパティを満たす圧縮モデルを生成することを可能にします一方、2番目は、相関のない理想的な応答セットを模倣することにより、各レイヤーで使用される圧縮を選択するパラメーターなしのヒューリスティックです。 PFAは応答の相関関係に基づいてネットワークを圧縮するため、圧縮中に各アーキテクチャを特定のドメインに適応させる柔軟性が得られることを実験で示しています。 PFAは複数のアーキテクチャおよびデータセットに対して評価され、精度を損なうことなくかなりの圧縮率を示します。たとえば、CIFAR-10、CIFAR-100、およびImageNet上のVGG-16では、PFAは8x、3x、および1.4xの圧縮率を達成します。それぞれ0.4%、1.4%ポイント、2.4%の精度向上。 PFAは、実用的な実装、直感的な哲学、および使いやすさのおかげで、採用の障壁を取り除きながら、最先端のアプローチと競争力があることをテストが示しています。
In this paper we introduce Principal Filter Analysis (PFA), an easy to use and effective method for neural network compression. PFA exploits the correlation between filter responses within network layers to recommend a smaller network that maintain as much as possible the accuracy of the full model. We propose two algorithms: the first allows users to target compression to specific network property, such as number of trainable variable (footprint), and produces a compressed model that satisfies the requested property while preserving the maximum amount of spectral energy in the responses of each layer, while the second is a parameter-free heuristic that selects the compression used at each layer by trying to mimic an ideal set of uncorrelated responses. Since PFA compresses networks based on the correlation of their responses we show in our experiments that it gains the additional flexibility of adapting each architecture to a specific domain while compressing. PFA is evaluated against several architectures and datasets, and shows considerable compression rates without compromising accuracy, e.g., for VGG-16 on CIFAR-10, CIFAR-100 and ImageNet, PFA achieves a compression rate of 8x, 3x, and 1.4x with an accuracy gain of 0.4%, 1.4% points, and 2.4% respectively. Our tests show that PFA is competitive with state-of-the-art approaches while removing adoption barriers thanks to its practical implementation, intuitive philosophy and ease of use.
updated: Wed Dec 11 2019 13:43:48 GMT+0000 (UTC)
published: Fri Jul 20 2018 23:36:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト