arXiv reaDer
Decomposable-Net: Scalable Low-Rank Compression for Neural Networks
ディープニューラルネットワーク(DNN)の圧縮は、リソースに制約のあるデバイスで動作する実際のアプリケーションにとって重要です。ただし、トレーニングと圧縮が完了したら、モデルのサイズ(つまり、計算の複雑さ)を変更することは簡単ではなく、異なるデバイスに適したモデルを構築するための再トレーニングが必要です。この論文では、再訓練することなくモデルのサイズを柔軟に変更できる新しい方法、Decomposable-Net(任意のサイズで分解可能なネットワーク)を提案します。特異値分解によってDNNの重み行列を分解し、ターゲットモデルのサイズに応じてランクを調整します。既存の方法とは異なり、(1)フルランクネットワークと低ランクネットワークの両方の損失を明示的に最小化する学習方法を提案します。これは、フルランクネットワークのパフォーマンスを維持するだけでなく、複数の低ネットワークも改善するように設計されています。単一のモデルでネットワークをランク付けします。 (2)また、各層のランクに関する近似誤差のスケーラビリティに関する数学的分析も提供します。さらに、(3)分析に基づいて、近似誤差を効果的に抑制するランク選択の簡単な基準を導入します。 CIFAR-10 / 100およびImageNetデータセットでの画像分類タスクの実験では、Decomposable-Netは、幅広い範囲の圧縮モデルで良好なパフォーマンスを発揮します。特に、Decomposable-Netは、低ランクのテンソル(Tucker)分解(67.4%/ 0.30x)と普遍的にスリム化可能なネットワークと比較して、ResNet-50のImageNet分類タスクで0.27x MACで73.2%のトップ1精度を達成します。 (70.6%/ 0.26×)。
Compressing deep neural networks (DNNs) is important for real-world applications operating on resource-constrained devices. However, it is not straightforward to change the model size (i.e., computational complexity) once training and compression are completed, calling for retraining to construct models suitable for different devices. In this paper, we propose a novel method, Decomposable-Net (the network decomposable in any size), which allows flexible changes to model size without retraining. We decompose weight matrices in the DNNs via singular value decomposition and adjust ranks according to the target model size. Unlike the existing methods, (1) we propose a learning method that explicitly minimizes losses for both of full-rank and low-rank networks, which is designed not only to maintain the performance of a full-rank network but also to improve multiple low-rank networks in a single model. (2) We also provide a mathematical analysis for the scalability of the approximation error with respect to the rank in each layer. Moreover, on the basis of the analysis, (3) we introduce a simple criterion for rank selection that effectively suppresses approximation error. In experiments on image-classification tasks on CIFAR-10/100 and ImageNet datasets, Decomposable-Net yields favorable performance in a broader range of compressed models. In particular, Decomposable-Net achieves the top-1 accuracy of 73.2% with 0.27×MACs on the ImageNet classification task with ResNet-50, compared to low-rank tensor (Tucker) decomposition (67.4% / 0.30×) and universally slimmable networks (70.6% / 0.26×).
updated: Fri Sep 18 2020 07:32:42 GMT+0000 (UTC)
published: Tue Oct 29 2019 09:15:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト