arXiv reaDer
特徴フローの正則化: ディープ ニューラル ネットワークの構造化スパース性の改善
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
プルーニングは、精度を維持しながら、ディープ ニューラル ネットワーク (DNN) の冗長パラメーターを削除するモデル圧縮方法です。利用可能なほとんどのフィルター プルーニング方法では、反復プルーニング、特徴統計/ランキング、またはトレーニング プロセスでの追加の最適化デザインなどの複雑な処理が必要です。この論文では、DNN の構造化スパーシティとフィルター プルーニングを改善するために、特徴の進化の新しい観点からシンプルで効果的な正則化戦略 (特徴フロー正則化 (FFR) と呼ばれます) を提案します。具体的には、FFR は、ニューラル ネットワークに沿ったフィーチャ フローの勾配と曲率に制御を課します。これにより、パラメーターのスパース性が暗黙的に増加します。 FFR の背後にある原則は、機能の一貫したスムーズな進化が、冗長なパラメーターを回避する効率的なネットワークにつながるということです。 FFR から得られる高度に構造化されたスパーシティにより、フィルターを効果的に剪定することができます。 VGGNet、CIFAR-10/100 上の ResNet、および Tiny ImageNet データセットを使用した実験では、FFR が非構造化と構造化の両方のスパーシティを大幅に改善できることが示されています。パラメータと FLOP の削減に関して、当社の剪定結果は、最先端の剪定方法と同等またはそれ以上です。
Pruning is a model compression method that removes redundant parameters in deep neural networks (DNNs) while maintaining accuracy. Most available filter pruning methods require complex treatments such as iterative pruning, features statistics/ranking, or additional optimization designs in the training process. In this paper, we propose a simple and effective regularization strategy from a new perspective of evolution of features, which we call feature flow regularization (FFR), for improving structured sparsity and filter pruning in DNNs. Specifically, FFR imposes controls on the gradient and curvature of feature flow along the neural network, which implicitly increases the sparsity of the parameters. The principle behind FFR is that coherent and smooth evolution of features will lead to an efficient network that avoids redundant parameters. The high structured sparsity obtained from FFR enables us to prune filters effectively. Experiments with VGGNets, ResNets on CIFAR-10/100, and Tiny ImageNet datasets demonstrate that FFR can significantly improve both unstructured and structured sparsity. Our pruning results in terms of reduction of parameters and FLOPs are comparable to or even better than those of state-of-the-art pruning methods.
updated: Thu Oct 07 2021 14:22:42 GMT+0000 (UTC)
published: Sat Jun 05 2021 15:00:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト