arXiv reaDer
Neural Epitome Search for Architecture-Agnostic Network Compression
 最近のWSNet [1]は、コンパクトセットからフィルターウェイトをサンプリングする新しいモデルの圧縮方法であり、1D畳み込みニューラルネットワーク(CNN)に有効であることが実証されています。ただし、WSNetの重みサンプリング戦略は手作りで修正されているため、結果のCNNの表現能力が大幅に制限され、圧縮能力が低下する可能性があります。この作業では、WSNetよりも大幅にパフォーマンスが向上した1Dおよび2D CNNの両方に適用可能な新しい自動サンプリング方法を紹介します。具体的には、提案された自動サンプリング方法は、ネットワークアーキテクチャ設計に依存せずに、エンドツーエンドでサンプリングルールを学習します。このような微分可能な重みサンプリングルール学習により、コンパクトセットからのサンプリングストライドとチャネル選択が最適化され、モデルの圧縮率とパフォーマンスのトレードオフが改善されます。同じ圧縮率で、1Dコンボリューションでの手法がWSNetby6.5%を上回ることを示しています。さらに、ImageNetでの方法は、MobileNetV2フルモデルよりも分類精度が1.47%優れており、FLOPが25%削減されています。ベースラインモデルと同じバックボーンアーキテクチャで、この方法は、AMC [2]やMNasNet [3]などのニューラルアーキテクチャ検索(NAS)ベースの方法よりも優れています。
The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].
updated: Sat Dec 28 2019 13:26:40 GMT+0000 (UTC)
published: Fri Jul 12 2019 09:38:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト