ニューラルアーキテクチャ検索(NAS)は、効率的で高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法です。 MLアプリケーションのパフォーマンス要件が継続的に増大するにつれて、ハードウェアアクセラレータがDNN設計で中心的な役割を果たし始めます。この傾向により、NASはほとんどの実際のアプリケーションにとってさらに複雑で時間がかかります。このホワイトペーパーでは、実際のハードウェアプラットフォームでDNNの精度とパフォーマンスを最適化する非常に高速なNAS手法であるFLASHを提案します。主な理論的貢献として、最初にNN-Degreeを提案します。これは、スキップ接続(DenseNets、ResNets、Wide-ResNets、MobileNetsなど)を持つDNNのトポロジ特性を定量化するための分析メトリックです。新しく提案されたNN-Degreeは、1秒以内にトレーニングなしのNASを実行し、630億以上の構成を持つ広大な検索スペースからわずか25サンプルをトレーニングすることで精度予測子を構築することを可能にします。次に、ターゲットハードウェアで推論を実行することにより、分析モデルを微調整および検証して、標準のMLデータセットを実行しながら、さまざまなDNNアーキテクチャの遅延、面積、およびエネルギー消費を推定します。第三に、ターゲットハードウェアの面積、待ち時間、エネルギー消費を考慮しながら、モデルとアーキテクチャの共同設計プロセスを最適化するために、単体ホモロジー大域的最適化(SHGO)に基づく階層的アルゴリズムを構築します。最先端のNASアプローチと比較して、提案された階層型SHGOベースのアルゴリズムが4桁以上の高速化を可能にすることを示します(具体的には、提案されたアルゴリズムの実行時間は約0.1秒です)。最後に、実験的評価では、FLASHをさまざまなハードウェアアーキテクチャに簡単に転送できるため、RaspberryPi-3Bプロセッサで3秒未満でNASを実行できることが示されています。
Neural architecture search (NAS) is a promising technique to design efficient and high-performance deep neural networks (DNNs). As the performance requirements of ML applications grow continuously, the hardware accelerators start playing a central role in DNN design. This trend makes NAS even more complicated and time-consuming for most real applications. This paper proposes FLASH, a very fast NAS methodology that co-optimizes the DNN accuracy and performance on a real hardware platform. As the main theoretical contribution, we first propose the NN-Degree, an analytical metric to quantify the topological characteristics of DNNs with skip connections (e.g., DenseNets, ResNets, Wide-ResNets, and MobileNets). The newly proposed NN-Degree allows us to do training-free NAS within one second and build an accuracy predictor by training as few as 25 samples out of a vast search space with more than 63 billion configurations. Second, by performing inference on the target hardware, we fine-tune and validate our analytical models to estimate the latency, area, and energy consumption of various DNN architectures while executing standard ML datasets. Third, we construct a hierarchical algorithm based on simplicial homology global optimization (SHGO) to optimize the model-architecture co-design process, while considering the area, latency, and energy consumption of the target hardware. We demonstrate that, compared to the state-of-the-art NAS approaches, our proposed hierarchical SHGO-based algorithm enables more than four orders of magnitude speedup (specifically, the execution time of the proposed algorithm is about 0.1 seconds). Finally, our experimental evaluations show that FLASH is easily transferable to different hardware architectures, thus enabling us to do NAS on a Raspberry Pi-3B processor in less than 3 seconds.