arXiv reaDer
Network Pruning via Transformable Architecture Search
  ネットワークプルーニングは、パフォーマンスを損なうことなく、過剰にパラメーター化されたネットワークの計算コストを削減します。一般的なプルーニングアルゴリズムは、プルーニングされたネットワークの幅と深さを事前に定義してから、パラメーターをプルーニングされていないネットワークからプルーニングされたネットワークに転送します。剪定されたネットワークの構造制限を打破するために、ニューラルアーキテクチャ検索を適用して、柔軟なチャネルとレイヤーサイズのネットワークを直接検索することを提案します。剪定されたネットワークの損失を最小限に抑えることにより、チャネル/レイヤーの数が学習されます。枝刈りされたネットワークの機能マップは、確率分布に基づいてサンプリングされたK個の機能マップフラグメント(サイズの異なるKネットワークによって生成された)の集合です。損失は、ネットワークの重みだけでなく、逆伝播することもできます。明示的にチャネル/レイヤーのサイズを調整するパラメーター化された分布に。具体的には、チャネル単位の補間を適用して、異なるチャネルサイズのフィーチャマップを集約手順で整列させます。各分布のサイズの最大確率は、剪定されたネットワークの幅と深さとして機能し、そのパラメーターは、元のネットワークからの知識の伝達(知識の蒸留など)によって学習されます。 CIFAR-10、CIFAR-100、およびImageNetの実験は、従来のネットワークプルーニングアルゴリズムと比較したネットワークプルーニングの新しい観点の有効性を示しています。 2つのコンポーネントの有効性を示すために、さまざまな検索および知識移転のアプローチが実施されます。コードはにあります。
Network pruning reduces the computation costs of an over-parameterized network without performance damage. Prevailing pruning algorithms pre-define the width and depth of the pruned networks, and then transfer parameters from the unpruned network to pruned networks. To break the structure limitation of the pruned networks, we propose to apply neural architecture search to search directly for a network with flexible channel and layer sizes. The number of the channels/layers is learned by minimizing the loss of the pruned networks. The feature map of the pruned network is an aggregation of K feature map fragments (generated by K networks of different sizes), which are sampled based on the probability distribution.The loss can be back-propagated not only to the network weights, but also to the parameterized distribution to explicitly tune the size of the channels/layers. Specifically, we apply channel-wise interpolation to keep the feature map with different channel sizes aligned in the aggregation procedure. The maximum probability for the size in each distribution serves as the width and depth of the pruned network, whose parameters are learned by knowledge transfer, e.g., knowledge distillation, from the original networks. Experiments on CIFAR-10, CIFAR-100 and ImageNet demonstrate the effectiveness of our new perspective of network pruning compared to traditional network pruning algorithms. Various searching and knowledge transfer approaches are conducted to show the effectiveness of the two components. Code is at:
updated: Wed Oct 16 2019 05:11:01 GMT+0000 (UTC)
published: Thu May 23 2019 15:22:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト