arXiv reaDer
Fast Hardware-Aware Neural Architecture Search
 ハードウェアの設計は複雑で多様であるため、膨大な量のハードウェアに対して正確で効率的な畳み込みニューラルアーキテクチャを設計することは困難です。このペーパーでは、ニューラルアーキテクチャ検索(NAS)におけるハードウェアの多様性の課題について説明します。ハードウェアの多様性を考慮せずに人間が設計した小さな検索スペースに検索アルゴリズムを適用する以前のアプローチとは異なり、より大きな検索スペースと2段階の検索アルゴリズムで自動ハードウェア認識検索を探索し、テーラードを効率的に生成するHURRICANEを提案しますさまざまなタイプのハードウェアのモデル。 ImageNetでの広範な実験は、3つのタイプのハードウェアで同じ遅延制約の下で、アルゴリズムが最先端のハードウェア認識NAS手法よりも優れていることを示しています。さらに、発見されたアーキテクチャは、現在の最先端の効率的なモデルよりもはるかに低いレイテンシと高い精度を実現しています。驚くべきことに、HURRICANEはImageNetで76.67%のトップ1の精度を達成し、DSPの推論レイテンシはわずか16.5 msです。これは、FBNet-iPhoneXよりも3.47%高い精度と6.35xの推論スピードアップです。 VPUの場合、1.49xのスピードアップでProxyless-mobileよりも0.53%高いtop-1精度を達成します。十分に研究されたモバイルCPUでも、同等の推論レイテンシでFBNet-iPhoneXよりも1.63%高いtop-1精度を達成します。また、ハリケーンはSPOSと比較してトレーニング時間を30.4%短縮します。
Designing accurate and efficient convolutional neural architectures for vast amount of hardware is challenging because hardware designs are complex and diverse. This paper addresses the hardware diversity challenge in Neural Architecture Search (NAS). Unlike previous approaches that apply search algorithms on a small, human-designed search space without considering hardware diversity, we propose HURRICANE that explores the automatic hardware-aware search over a much larger search space and a two-stage search algorithm, to efficiently generate tailored models for different types of hardware. Extensive experiments on ImageNet demonstrate that our algorithm outperforms state-of-the-art hardware-aware NAS methods under the same latency constraint on three types of hardware. Moreover, the discovered architectures achieve much lower latency and higher accuracy than current state-of-the-art efficient models. Remarkably, HURRICANE achieves a 76.67% top-1 accuracy on ImageNet with a inference latency of only 16.5 ms for DSP, which is a 3.47% higher accuracy and a 6.35x inference speedup than FBNet-iPhoneX, respectively. For VPU, we achieve a 0.53% higher top-1 accuracy than Proxyless-mobile with a 1.49x speedup. Even for well-studied mobile CPU, we achieve a 1.63% higher top-1 accuracy than FBNet-iPhoneX with a comparable inference latency. HURRICANE also reduces the training time by 30.4% compared to SPOS.
updated: Mon Apr 20 2020 02:05:46 GMT+0000 (UTC)
published: Fri Oct 25 2019 10:40:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト