モバイルエッジデバイスにDNNを効率的に展開する必要性が高まるにつれ、不要な計算を減らし、実行速度を上げることがはるかに重要になります。モデル圧縮やネットワークアーキテクチャ検索(NAS)など、この目標に向けた以前の方法は、主に独立して実行され、モバイルアクセラレーションで必須のコンパイラレベルの最適化を十分に考慮していません。この作業では、最初に(i)さまざまなDNNレイヤーに適用可能なきめ細かい構造化プルーニングの一般的なカテゴリ、および(ii)さまざまなDNNとさまざまなプルーニングスキームをサポートする包括的なコンパイラ自動コード生成フレームワークを提案します。モデル圧縮とNAS。さらに、コンパイラ対応の統合ネットワークプルーニングであるNPAS、およびアーキテクチャ検索を提案します。大規模な検索スペースに対処するために、高速評価とベイズ最適化を使用した強化学習に基づくメタモデリング手順を提案し、代表的なNASフレームワークに匹敵するトレーニングエポックの総数を確保します。私たちのフレームワークは、既製の携帯電話でそれぞれ78.2%、75%(MobileNet-V3レベル)、71%(MobileNet-V2レベル)のトップ1精度で6.7ms、5.9ms、3.9msのImageNet推論時間を達成します、一貫して以前の作業を上回っています。
With the increasing demand to efficiently deploy DNNs on mobile edge devices, it becomes much more important to reduce unnecessary computation and increase the execution speed. Prior methods towards this goal, including model compression and network architecture search (NAS), are largely performed independently and do not fully consider compiler-level optimizations which is a must-do for mobile acceleration. In this work, we first propose (i) a general category of fine-grained structured pruning applicable to various DNN layers, and (ii) a comprehensive, compiler automatic code generation framework supporting different DNNs and different pruning schemes, which bridge the gap of model compression and NAS. We further propose NPAS, a compiler-aware unified network pruning, and architecture search. To deal with large search space, we propose a meta-modeling procedure based on reinforcement learning with fast evaluation and Bayesian optimization, ensuring the total number of training epochs comparable with representative NAS frameworks. Our framework achieves 6.7ms, 5.9ms, 3.9ms ImageNet inference times with 78.2%, 75% (MobileNet-V3 level), and 71% (MobileNet-V2 level) Top-1 accuracy respectively on an off-the-shelf mobile phone, consistently outperforming prior work.