arXiv reaDer
HALOC: コンパクトなニューラル ネットワークのためのハードウェア認識型の自動低ランク圧縮
HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
低ランク圧縮は、コンパクトなニューラル ネットワーク モデルを取得するための重要なモデル圧縮戦略です。一般に、ランク値はモデルの複雑さとモデルの精度を直接決定するため、レイヤー単位のランクを適切に選択することは非常に重要であり、望ましいことです。今日まで、手動または自動の方法でランクを選択する多くの低ランク圧縮アプローチが提案されてきましたが、コストのかかる手動の試行または満足のいく圧縮パフォーマンスに苦しんでいます。さらに、既存のすべての作品はハードウェアを意識した方法で設計されていないため、実際のハードウェア プラットフォームでの圧縮モデルの実用的なパフォーマンスが制限されます。これらの課題に対処するために、このホワイト ペーパーでは、ハードウェア認識型の自動低ランク圧縮フレームワークである HALOC を提案します。アーキテクチャ検索の観点から自動ランク選択を解釈することにより、微分可能でハードウェアを意識した方法で適切なレイヤーごとのランクを決定するためのエンドツーエンドのソリューションを開発します。さらに、ランク空間を効率的に探索し、潜在的な干渉の問題を軽減するための設計原則と緩和戦略を提案します。さまざまなデータセットとハードウェア プラットフォームでの実験結果は、提案されたアプローチの有効性を示しています。 CIFAR-10 データセットでは、HALOC は非圧縮の ResNet-20 および VGG-16 モデルよりも 0.07% および 0.38% の精度向上を実現し、FLOP はそれぞれ 72.20% および 86.44% 少なくなっています。 ImageNet データセットでは、HALOC は元の ResNet-18 モデルよりも 0.9% 高いトップ 1 精度を達成し、FLOP は 66.16% 少なくなっています。 HALOC はまた、最先端の自動低ランク圧縮ソリューションよりも 0.66% 高いトップ 1 精度の向上を示しており、計算コストとメモリ コストはより少なくなります。さらに、HALOC は、デスクトップ GPU、組み込み GPU、および ASIC アクセラレータでの測定結果によって検証された、さまざまなハードウェア プラットフォームでの実際の高速化を示しています。
Low-rank compression is an important model compression strategy for obtaining compact neural network models. In general, because the rank values directly determine the model complexity and model accuracy, proper selection of layer-wise rank is very critical and desired. To date, though many low-rank compression approaches, either selecting the ranks in a manual or automatic way, have been proposed, they suffer from costly manual trials or unsatisfied compression performance. In addition, all of the existing works are not designed in a hardware-aware way, limiting the practical performance of the compressed models on real-world hardware platforms. To address these challenges, in this paper we propose HALOC, a hardware-aware automatic low-rank compression framework. By interpreting automatic rank selection from an architecture search perspective, we develop an end-to-end solution to determine the suitable layer-wise ranks in a differentiable and hardware-aware way. We further propose design principles and mitigation strategy to efficiently explore the rank space and reduce the potential interference problem. Experimental results on different datasets and hardware platforms demonstrate the effectiveness of our proposed approach. On CIFAR-10 dataset, HALOC enables 0.07% and 0.38% accuracy increase over the uncompressed ResNet-20 and VGG-16 models with 72.20% and 86.44% fewer FLOPs, respectively. On ImageNet dataset, HALOC achieves 0.9% higher top-1 accuracy than the original ResNet-18 model with 66.16% fewer FLOPs. HALOC also shows 0.66% higher top-1 accuracy increase than the state-of-the-art automatic low-rank compression solution with fewer computational and memory costs. In addition, HALOC demonstrates the practical speedups on different hardware platforms, verified by the measurement results on desktop GPU, embedded GPU and ASIC accelerator.
updated: Thu Feb 02 2023 01:31:37 GMT+0000 (UTC)
published: Fri Jan 20 2023 01:57:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト