スパイキング ニューラル ネットワーク (SNN) は、そのエネルギー効率と脳からインスピレーションを得たイベント駆動型の特性により、幅広い関心を集めています。 Spiking-YOLO などの最近の手法により、SNN はより困難な物体検出タスクに拡張されましたが、多くの場合、遅延が長く、検出精度が低いという問題があり、遅延に敏感なモバイル プラットフォームに導入することが困難になっています。さらに、人工ニューラル ネットワーク (ANN) から SNN への変換方法では、ANN の完全な構造を維持することが難しく、特徴表現が不十分になり、変換エラーが多くなります。これらの課題に対処するために、タイムステップ圧縮とスパイク時間依存統合 (STDI) コーディングという 2 つの方法を提案します。前者は情報を圧縮することで ANN-SNN 変換に必要なタイムステップを削減し、後者は時間とともに変化するしきい値を設定して情報保持容量を拡張します。また、SNN ベースの超低遅延で高精度の物体検出モデル (SUHD) も紹介します。これは、PASCAL VOC や MS COCO などの重要なデータセットに対して、約 750 分の 1 という驚くべき少ないタイムステップと 30% の平均値で最先端のパフォーマンスを実現します。 MS COCO データセットの Spiking-YOLO と比較して、平均精度 (mAP) が向上しました。私たちの知る限り、SUHD はこれまでで最も深いスパイクベースの物体検出モデルであり、超低タイムステップを達成してロスレス変換を完了します。
Spiking Neural Networks (SNNs) have garnered widespread interest for their energy efficiency and brain-inspired event-driven properties. While recent methods like Spiking-YOLO have expanded the SNNs to more challenging object detection tasks, they often suffer from high latency and low detection accuracy, making them difficult to deploy on latency sensitive mobile platforms. Furthermore, the conversion method from Artificial Neural Networks (ANNs) to SNNs is hard to maintain the complete structure of the ANNs, resulting in poor feature representation and high conversion errors. To address these challenges, we propose two methods: timesteps compression and spike-time-dependent integrated (STDI) coding. The former reduces the timesteps required in ANN-SNN conversion by compressing information, while the latter sets a time-varying threshold to expand the information holding capacity. We also present a SNN-based ultra-low latency and high accurate object detection model (SUHD) that achieves state-of-the-art performance on nontrivial datasets like PASCAL VOC and MS COCO, with about remarkable 750x fewer timesteps and 30% mean average precision (mAP) improvement, compared to the Spiking-YOLO on MS COCO datasets. To the best of our knowledge, SUHD is the deepest spike-based object detection model to date that achieves ultra low timesteps to complete the lossless conversion.