ウェイト プルーニングやフィルター プルーニングなどのネットワーク プルーニング手法により、ほとんどの最先端のニューラル ネットワークを、パフォーマンスを大幅に低下させることなく高速化できることが明らかになりました。この作業では、既製のディープ ラーニング ライブラリとハードウェアを使用した推論の高速化を可能にするフィルター プルーニングに焦点を当てています。サブネットワーク アーキテクチャの母集団をパラメータ化するネットワーク プルーニング スペースの概念を提案します。この概念に基づいて、さまざまな剪定体制で精度の損失を最小限に抑えるサブネットワークの構造の側面を調査し、サブネットワークの分布を比較することで一連の観測に到達します。経験的研究を通じて、プルーニング体制での元のネットワークの設計に関連する最適な FLOP とパラメーター バケットの比率が存在すると推測します。統計的に、勝利したサブネットワークの構造は、この体制でほぼ最適な比率を保証します。私たちの推測に基づいて、適切なサブネットワーク アーキテクチャを検索するコストを削減するために、初期プルーニング スペースをさらに改良します。 ImageNet での実験結果は、私たちが見つけたサブネットワークが、同等の FLOP での最先端の剪定方法によるサブネットワークよりも優れていることを示しています。
Network pruning techniques, including weight pruning and filter pruning, reveal that most state-of-the-art neural networks can be accelerated without a significant performance drop. This work focuses on filter pruning which enables accelerated inference with any off-the-shelf deep learning library and hardware. We propose the concept of network pruning spaces that parametrize populations of subnetwork architectures. Based on this concept, we explore the structure aspect of subnetworks that result in minimal loss of accuracy in different pruning regimes and arrive at a series of observations by comparing subnetwork distributions. We conjecture through empirical studies that there exists an optimal FLOPs-to-parameter-bucket ratio related to the design of original network in a pruning regime. Statistically, the structure of a winning subnetwork guarantees an approximately optimal ratio in this regime. Upon our conjectures, we further refine the initial pruning space to reduce the cost of searching a good subnetwork architecture. Our experimental results on ImageNet show that the subnetwork we found is superior to those from the state-of-the-art pruning methods under comparable FLOPs.