このホワイトペーパーでは、リザーバーニューラルネットワークの遅延ループバージョンに基づいて、ニューラルネットワークの新しいファミリを構築するための体系的なアプローチについて説明します。結果として得られるアーキテクチャは、Scaled-Time-Attention Robust Edge(STARE)ネットワークと呼ばれ、超次元空間と非乗算および加算計算を活用して、浅い層を持ち、トレーニングが簡単で、より適した、より単純なアーキテクチャを実現します。従来のディープニューラルネットワークを介したモノのインターネット(IoT)などのエッジアプリケーション向け。 STAREは、注意やコンテキストなどの新しいAI概念を組み込んでおり、時間的特徴の抽出と分類に最適です。 STAREは、パフォーマンスが向上し、実装の複雑さが軽減されたさまざまなアプリケーションに適用できることを示しています。特に、空間(ビデオフレーム)と時間(軌道)の両方の情報を活用することにより、カウンター無人航空機システム(UAS)検出アプリケーションでドローンと鳥の検出と識別にデュアルループ構成を適用する新しい方法を示しました。また、STAREのパフォーマンスは、RF変調の分類において最先端のディープニューラルネットワークのパフォーマンスに近づき、Mackey Glass時系列予測の特殊なケースではLong Short-term Memory(LSTM)よりも優れていることを示しました。ハードウェアの効率を実証するために、STAREアルゴリズムのFPGA実装を設計および開発して、その低電力および高スループットの動作を実証しました。さらに、ASIC実装用のSTAREアルゴリズムの超並列実装を統合するための効率的な構造を示します。
This paper describes a systematic approach towards building a new family of neural networks based on a delay-loop version of a reservoir neural network. The resulting architecture, called Scaled-Time-Attention Robust Edge (STARE) network, exploits hyper dimensional space and non-multiply-and-add computation to achieve a simpler architecture, which has shallow layers, is simple to train, and is better suited for Edge applications, such as Internet of Things (IoT), over traditional deep neural networks. STARE incorporates new AI concepts such as Attention and Context, and is best suited for temporal feature extraction and classification. We demonstrate that STARE is applicable to a variety of applications with improved performance and lower implementation complexity. In particular, we showed a novel way of applying a dual-loop configuration to detection and identification of drone vs bird in a counter Unmanned Air Systems (UAS) detection application by exploiting both spatial (video frame) and temporal (trajectory) information. We also demonstrated that the STARE performance approaches that of a State-of-the-Art deep neural network in classifying RF modulations, and outperforms Long Short-term Memory (LSTM) in a special case of Mackey Glass time series prediction. To demonstrate hardware efficiency, we designed and developed an FPGA implementation of the STARE algorithm to demonstrate its low-power and high-throughput operations. In addition, we illustrate an efficient structure for integrating a massively parallel implementation of the STARE algorithm for ASIC implementation.