時空間パターン認識は、多くの実世界のアプリケーションに必要な脳の基本的な能力です。最近の深層学習アプローチは、そのようなタスクで卓越した精度に達していますが、従来の組み込みソリューションへの実装は、依然として非常に計算コストとエネルギーコストがかかります。ロボットアプリケーションでの触覚センシングは、リアルタイム処理とエネルギー効率が要求される代表的な例です。脳に触発されたコンピューティングアプローチに従って、点字の読み取りによるエッジでの時空間触覚パターン認識の新しいベンチマークを提案します。 iCubロボットの静電容量式触覚センサー/指先に基づいて新しい点字データセットを記録し、スパイクベース/イベントベースの計算における時間情報の重要性とイベントベースのエンコーディングの影響を調査しました。その後、フィードフォワードおよびリカレントスパイキングニューラルネットワーク(SNN)をトレーニングし、サロゲート勾配を使用した時間のバックプロパゲーションを使用してオフラインで比較し、IntelLoihiニューロモルフィックチップにデプロイして高速かつ効率的な推論を行いました。標準分類器、特に組み込みNvidia JetsonGPUに展開されたLongShort-TermMemory(LSTM)へのアプローチに、分類の精度、電力/エネルギー消費、計算遅延の観点から直面しました。私たちの結果は、LSTMが精度の点で再発SNNを14%上回っていることを示しています。ただし、ロイヒの再発SNNは、ジェットソンのLSTMよりも237倍エネルギー効率が高く、必要な平均電力はわずか31mWです。この作業は、触覚センシングの新しいベンチマークを提案し、イベントベースのエンコーディング、ニューロモルフィックハードウェア、およびエッジでの時空間パターン認識のためのスパイクベースのコンピューティングの課題と機会を強調しています。
Spatio-temporal pattern recognition is a fundamental ability of the brain which is required for numerous real-world applications. Recent deep learning approaches have reached outstanding accuracy in such tasks, but their implementation on conventional embedded solutions is still very computationally and energy expensive. Tactile sensing in robotic applications is a representative example where real-time processing and energy-efficiency are required. Following a brain-inspired computing approach, we propose a new benchmark for spatio-temporal tactile pattern recognition at the edge through braille letters reading. We recorded a new braille letters dataset based on the capacitive tactile sensors/fingertip of the iCub robot, then we investigated the importance of temporal information and the impact of event-based encoding for spike-based/event-based computation. Afterwards, we trained and compared feed-forward and recurrent spiking neural networks (SNNs) offline using back-propagation through time with surrogate gradients, then we deployed them on the Intel Loihi neuromorphic chip for fast and efficient inference. We confronted our approach to standard classifiers, in particular to a Long Short-Term Memory (LSTM) deployed on the embedded Nvidia Jetson GPU in terms of classification accuracy, power/energy consumption and computational delay. Our results show that the LSTM outperforms the recurrent SNN in terms of accuracy by 14%. However, the recurrent SNN on Loihi is 237 times more energy-efficient than the LSTM on Jetson, requiring an average power of only 31mW. This work proposes a new benchmark for tactile sensing and highlights the challenges and opportunities of event-based encoding, neuromorphic hardware and spike-based computing for spatio-temporal pattern recognition at the edge.