HARFLOW3D: FPGA デバイス上の HAR 向けのレイテンシー指向の 3D-CNN アクセラレーター ツールフロー
HARFLOW3D: A Latency-Oriented 3D-CNN Accelerator Toolflow for HAR on FPGA Devices
ヒューマン アクション認識タスク (HAR) では、3D 畳み込みニューラル ネットワークが非常に効果的であることが証明されており、最先端の結果を達成しています。この調査では、モデル固有の特性とターゲット FPGA デバイスの機能を考慮して、そのようなモデルを FPGA にマッピングするための新しいストリーミング アーキテクチャ ベースのツールフローを紹介します。 HARFLOW3D ツールフローは、ONNX 形式の 3D CNN と FPGA 特性の説明を入力として受け取り、計算のレイテンシを最小限に抑える設計を生成します。ツールフローは、i) 3D CNN パーサー、ii) パフォーマンスおよびリソース モデル、iii) 生成されたハードウェア上で 3D モデルを実行するためのスケジューリング アルゴリズム、iv) リソースを意識した最適化エンジンなど、いくつかの部分で構成されています。 3D モデル、v) FPGA 用の合成可能なコードへの自動マッピング。幅広いモデルとデバイスをサポートするツールフローの機能は、さまざまな 3D CNN と FPGA システムのペアでの多数の実験を通じて示されています。さらに、このツールフローは、これまで FPGA にマッピングされたことのない 3D CNN モデルに対して優れた結果をもたらし、この分野における FPGA ベースのシステムの可能性を示しています。全体として、HARFLOW3D は、いくつかの既存の作品と比較して最大 5 倍のパフォーマンスを達成できるさまざまな最先端の手作業で調整されたアプローチと比較して、競争力のあるレイテンシーを提供する能力を実証しました。
For Human Action Recognition tasks (HAR), 3D Convolutional Neural Networks have proven to be highly effective, achieving state-of-the-art results. This study introduces a novel streaming architecture based toolflow for mapping such models onto FPGAs considering the model's inherent characteristics and the features of the targeted FPGA device. The HARFLOW3D toolflow takes as input a 3D CNN in ONNX format and a description of the FPGA characteristics, generating a design that minimizes the latency of the computation. The toolflow is comprised of a number of parts, including i) a 3D CNN parser, ii) a performance and resource model, iii) a scheduling algorithm for executing 3D models on the generated hardware, iv) a resource-aware optimization engine tailored for 3D models, v) an automated mapping to synthesizable code for FPGAs. The ability of the toolflow to support a broad range of models and devices is shown through a number of experiments on various 3D CNN and FPGA system pairs. Furthermore, the toolflow has produced high-performing results for 3D CNN models that have not been mapped to FPGAs before, demonstrating the potential of FPGA-based systems in this space. Overall, HARFLOW3D has demonstrated its ability to deliver competitive latency compared to a range of state-of-the-art hand-tuned approaches being able to achieve up to 5× better performance compared to some of the existing works.
updated: Mon Apr 10 2023 09:08:14 GMT+0000 (UTC)
published: Thu Mar 30 2023 08:25:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト