arXiv reaDer
Trained Rank Pruning for Efficient Deep Neural Networks
 DNNの推論を加速するために、その強固な理論的根拠と効率的な実装のために、低ランク近似が広く採用されています。いくつかの以前の研究は、低ランク分解により事前訓練されたモデルを直接近似しようとしました。ただし、パラメーターの小さな近似誤差は、大きな予測損失に波及する可能性があります。どうやら、低ランク近似をトレーニングから分離することは最適ではありません。これまでの研究とは異なり、このペーパーでは低ランクの近似と正則化をトレーニングプロセスに統合します。低ランク近似とトレーニングを交互に行うトレーニングランクプルーニング(TRP)を提案します。 TRPは元のネットワークの容量を維持しながら、トレーニング中に低ランクの制約を課します。確率的亜勾配降下法によって最適化された核の正則化は、TRPの低ランクをさらに促進するために利用されます。 TRPでトレーニングされたネットワークは、本質的に低ランク構造であり、無視できるパフォーマンス損失で近似されるため、低ランク近似後の微調整は不要です。提案された方法は、CIFAR-10およびImageNetで包括的に評価され、低ランク近似を使用して以前の圧縮対応物よりも優れています。コードはで入手できます。
To accelerate DNNs inference, low-rank approximation has been widely adopted because of its solid theoretical rationale and efficient implementations. Several previous works attempted to directly approximate a pre-trained model by low-rank decomposition; however, small approximation errors in parameters can ripple over a large prediction loss. Apparently, it is not optimal to separate low-rank approximation from training. Unlike previous works, this paper integrates low rank approximation and regularization into the training process. We propose Trained Rank Pruning (TRP), which alternates between low rank approximation and training. TRP maintains the capacity of the original network while imposing low-rank constraints during training. A nuclear regularization optimized by stochastic sub-gradient descent is utilized to further promote low rank in TRP. Networks trained with TRP has a low-rank structure in nature, and is approximated with negligible performance loss, thus eliminating fine-tuning after low rank approximation. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous compression counterparts using low rank approximation. Our code is available at:
updated: Thu Jan 23 2020 21:02:36 GMT+0000 (UTC)
published: Wed Oct 09 2019 07:27:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト