DNNの自動アルゴリズムとハードウェアの共同設計は、FPGA上のDNNのパフォーマンスを向上させることに大きな成功を収めています。ただし、ニューラルネットワークアーキテクチャとハードウェアアクセラレータの実装の検索スペースが扱いにくいため、このプロセスは依然として困難です。高価な学習ベースのアプローチのみに依存する既存のハードウェア対応ニューラルアーキテクチャ検索(NAS)アルゴリズムとは異なり、私たちの作業では、整数計画法を検索アルゴリズムに組み込んで、設計スペースを整理します。ハードウェアリソースの制約のセットが与えられると、整数計画法の定式化は、レイテンシを最小化するDNNサブグラフをマッピングするための最適なアクセラレータ構成を直接出力します。さまざまな量子化スキームを使用してさまざまなDNNサブグラフに精度予測子を使用し、精度と待ち時間のパレートフロンティアを生成します。低い計算コストで、当社のアルゴリズムは、ImageNetデータセットでの画像分類のためにザイリンクスZynq(ZU3EG)FPGAで最先端の精度とハードウェアパフォーマンスを実現する量子化ネットワークを生成できます。私たちのアルゴリズムによって検索されたソリューションは、フレームレート50でImageNetで72.5%のトップ1精度を達成します。これは、MnasNetより60%速く、FBNetより135%速く、同等の精度です。
Automatic algorithm-hardware co-design for DNN has shown great success in improving the performance of DNNs on FPGAs. However, this process remains challenging due to the intractable search space of neural network architectures and hardware accelerator implementation. Differing from existing hardware-aware neural architecture search (NAS) algorithms that rely solely on the expensive learning-based approaches, our work incorporates integer programming into the search algorithm to prune the design space. Given a set of hardware resource constraints, our integer programming formulation directly outputs the optimal accelerator configuration for mapping a DNN subgraph that minimizes latency. We use an accuracy predictor for different DNN subgraphs with different quantization schemes and generate accuracy-latency pareto frontiers. With low computational cost, our algorithm can generate quantized networks that achieve state-of-the-art accuracy and hardware performance on Xilinx Zynq (ZU3EG) FPGA for image classification on ImageNet dataset. The solution searched by our algorithm achieves 72.5% top-1 accuracy on ImageNet at framerate 50, which is 60% faster than MnasNet and 135% faster than FBNet with comparable accuracy.