arXiv reaDer
Filter Pruning by Switching to Neighboring CNNs with Good Attributes
フィルタの剪定は、ニューラルネットワークの計算コストを削減するのに効果的です。既存の方法は、以前のプルーニングされたフィルターを更新すると、モデルの容量が大きくなり、パフォーマンスが向上することを示しています。ただし、反復プルーニングプロセス中は、ネットワークの重みが新しい値に更新されても、プルーニング基準は同じままです。さらに、フィルターの重要性を評価するときは、フィルターの大きさの情報のみが考慮されます。ただし、ニューラルネットワークでは、フィルターは個別には機能しませんが、他のフィルターに影響を与えます。結果として、個々のフィルター自体の情報を単に反映する各フィルターの大きさの情報は、フィルターの重要性を判断するのに十分ではありません。上記の問題を解決するために、メタ属性ベースのフィルタープルーニング(MFP)を提案します。まず、既存のマグニチュード情報ベースの剪定基準を拡張するために、フィルターの幾何学的距離を考慮するための新しい基準セットを導入します。さらに、ネットワークの現在の状態を明示的に評価するために、現在の状態でのニューラルネットワークのプロパティであるメタ属性を介してプルーニングに最適な基準を適応的に選択します。 2つの画像分類ベンチマークでの実験は、私たちの方法を検証します。 ILSVRC-2012のResNet-50の場合、トップ5の精度がわずか0.44%低下するだけで、50%を超えるFLOPを削減できます。
Filter pruning is effective to reduce the computational costs of neural networks. Existing methods show that updating the previous pruned filter would enable large model capacity and achieve better performance. However, during the iterative pruning process, even if the network weights are updated to new values, the pruning criterion remains the same. In addition, when evaluating the filter importance, only the magnitude information of the filters is considered. However, in neural networks, filters do not work individually, but they would affect other filters. As a result, the magnitude information of each filter, which merely reflects the information of an individual filter itself, is not enough to judge the filter importance. To solve the above problems, we propose Meta-attribute-based Filter Pruning (MFP). First, to expand the existing magnitude information based pruning criteria, we introduce a new set of criteria to consider the geometric distance of filters. Additionally, to explicitly assess the current state of the network, we adaptively select the most suitable criteria for pruning via a meta-attribute, a property of the neural network at the current state. Experiments on two image classification benchmarks validate our method. For ResNet-50 on ILSVRC-2012, we could reduce more than 50% FLOPs with only 0.44% top-5 accuracy loss.
updated: Fri Feb 11 2022 14:42:41 GMT+0000 (UTC)
published: Mon Apr 08 2019 11:24:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト