最近スパイキングニューラルネットワーク(SNN)である、第3世代のニューラルネットワークは、エネルギー効率の高いコンピューティングの優れた機能を示しています。これは、エネルギー消費量の多いディープニューラルネットワーク(DNN)の有望な代替手段です。 SNNは、比較的単純なタスクや画像分類やMNIST / CIFARなどの小さなデータセットで、DNNと比較して競争力のある結果に達しましたが、複雑なデータセットでのより困難なビジョンタスクに関する研究はほとんどありません。このホワイトペーパーでは、ディープSNNをオブジェクトトラッキング、組み込みアプリケーションと省エネ要件を備えたより高度なビジョンタスクに拡張することに焦点を当て、SiamSNNと呼ばれるスパイクベースのシャムネットワークを紹介します。具体的には、SNNの時間情報を活用するための最適化されたハイブリッド類似性推定方法を提案し、出力スパイク列の時間分布を最適化してさらに改善するための新しい2ステータスコーディングスキームを導入します。 SiamSNNは、ビジュアルオブジェクトトラッキングベンチマークOTB2013 / 2015、VOT2016 / 2018、およびGOT-10kで短い遅延と低精度の損失を実現する最初のディープSNNトラッカーです。さらに、SiamSNNは、ニューロモルフィックチップTrueNorthで、著しく低いエネルギー消費とリアルタイムを実現します。
Recently spiking neural networks (SNNs), the third-generation of neural networks has shown remarkable capabilities of energy-efficient computing, which is a promising alternative for deep neural networks (DNNs) with high energy consumption. SNNs have reached competitive results compared to DNNs in relatively simple tasks and small datasets such as image classification and MNIST/CIFAR, while few studies on more challenging vision tasks on complex datasets. In this paper, we focus on extending deep SNNs to object tracking, a more advanced vision task with embedded applications and energy-saving requirements, and present a spike-based Siamese network called SiamSNN. Specifically, we propose an optimized hybrid similarity estimation method to exploit temporal information in the SNNs, and introduce a novel two-status coding scheme to optimize the temporal distribution of output spike trains for further improvements. SiamSNN is the first deep SNN tracker that achieves short latency and low precision loss on the visual object tracking benchmarks OTB2013/2015, VOT2016/2018, and GOT-10k. Moreover, SiamSNN achieves notably low energy consumption and real-time on Neuromorphic chip TrueNorth.