arXiv reaDer
Decomposable-Net: Scalable Low-Rank Compression for Neural Networks
DNNの圧縮は、リソースに制約のあるデバイスで動作する実際のアプリケーションにとって重要です。ただし、通常、トレーニングの完了後にモデルサイズを変更すると、パフォーマンスが大幅に低下します。したがって、さまざまなデバイスに適した圧縮モデルのパフォーマンスを再開するには、再トレーニングが必要です。本稿では、再トレーニングなしでモデルサイズを柔軟に変更できるDecomposable-Net(任意のサイズで分解可能なネットワーク)を提案します。特異値分解を介してDNNの重み行列を分解し、ターゲットモデルのサイズに応じてランクを調整します。モデルを固定サイズに特化する既存の低ランク圧縮方法とは異なり、フルランクネットワークと低ランクネットワークの両方の損失を共同で最小化する新しいバックプロパゲーションスキームを提案します。これにより、再トレーニングせずにフルランクネットワークのパフォーマンスを維持できるだけでなく、複数のサイズの低ランクネットワークを改善することもできます。さらに、近似誤差を効果的に抑制するランク選択の簡単な基準を紹介します。 ImageNet分類タスクの実験では、Decomposable-Netは、幅広いモデルサイズで優れた精度を実現します。特に、Decomposable-Netは、タッカー分解(67.4%/ 0.30x)、トレーニング済みランクプルーニング(70.6%/ 0.28x)と比較して、ResNet-50を使用した0.27×MACで73.2%のトップ1精度を達成し、普遍的にスリム化可能ですネットワーク(71.4%/ 0.26×)。
Compressing DNNs is important for the real-world applications operating on resource-constrained devices. However, we typically observe drastic performance deterioration when changing model size after training is completed. Therefore, retraining is required to resume the performance of the compressed models suitable for different devices. In this paper, we propose Decomposable-Net (the network decomposable in any size), which allows flexible changes to model size without retraining. We decompose weight matrices in the DNNs via singular value decomposition and adjust ranks according to the target model size. Unlike the existing low-rank compression methods that specialize the model to a fixed size, we propose a novel backpropagation scheme that jointly minimizes losses for both of full- and low-rank networks. This enables not only to maintain the performance of a full-rank network without retraining but also to improve low-rank networks in multiple sizes. Additionally, we introduce a simple criterion for rank selection that effectively suppresses approximation error. In experiments on the ImageNet classification task, Decomposable-Net yields superior accuracy in a wide range of model sizes. In particular, Decomposable-Net achieves the top-1 accuracy of 73.2% with 0.27×MACs with ResNet-50, compared to Tucker decomposition (67.4% / 0.30×), Trained Rank Pruning (70.6% / 0.28×), and universally slimmable networks (71.4% / 0.26×).
updated: Wed Sep 29 2021 08:34:33 GMT+0000 (UTC)
published: Tue Oct 29 2019 09:15:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト