arXiv reaDer
分類を超えて:セマンティックセグメンテーションのためのスパイキングニューラルネットワークの直接トレーニング
Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation
スパイキングニューラルネットワーク(SNN)は、そのスパース、非同期、およびバイナリイベント駆動型処理のために、人工ニューラルネットワーク(ANN)の低電力代替手段として最近登場しました。 SNNはエネルギー効率が高いため、自動運転車やドローンなど、リソースに制約のある実際のシステムに導入される可能性が高くなります。ただし、微分不可能で複雑なニューロンのダイナミクスのため、以前のほとんどのSNN最適化手法は画像認識に限定されていました。この論文では、分類を超えたSNNアプリケーションを探索し、スパイキングニューロンで構成されたセマンティックセグメンテーションネットワークを提示します。具体的には、最初に、セマンティックセグメンテーションデータセットでの認識タスク(つまり、ANN-SNN変換と代理勾配学習)の2つの代表的なSNN最適化手法を調査します。 ANNから変換すると、SNNは、機能の空間的分散のために、待ち時間が長く、パフォーマンスが低いという問題があります。したがって、代理勾配学習を使用してネットワークを直接トレーニングし、ANN-SNN変換よりも待ち時間を短縮してパフォーマンスを向上させます。さらに、SNNドメイン用に2つの基本的なANNセグメンテーションアーキテクチャ(つまり、完全畳み込みネットワークとDeepLab)を再設計します。 PASCALVOC2012データセットとDDD17イベントベースのデータセットを含む2つのパブリックセマンティックセグメンテーションベンチマークで実験を行います。セマンティックセグメンテーションのためのSNNの実現可能性を示すことに加えて、SNNがこのドメインの対応するANNと比較してより堅牢でエネルギー効率が高いことを示します。
Spiking Neural Networks (SNNs) have recently emerged as the low-power alternative to Artificial Neural Networks (ANNs) because of their sparse, asynchronous, and binary event-driven processing. Due to their energy efficiency, SNNs have a high possibility of being deployed for real-world, resource-constrained systems such as autonomous vehicles and drones. However, owing to their non-differentiable and complex neuronal dynamics, most previous SNN optimization methods have been limited to image recognition. In this paper, we explore the SNN applications beyond classification and present semantic segmentation networks configured with spiking neurons. Specifically, we first investigate two representative SNN optimization techniques for recognition tasks (i.e., ANN-SNN conversion and surrogate gradient learning) on semantic segmentation datasets. We observe that, when converted from ANNs, SNNs suffer from high latency and low performance due to the spatial variance of features. Therefore, we directly train networks with surrogate gradient learning, resulting in lower latency and higher performance than ANN-SNN conversion. Moreover, we redesign two fundamental ANN segmentation architectures (i.e., Fully Convolutional Networks and DeepLab) for the SNN domain. We conduct experiments on two public semantic segmentation benchmarks including the PASCAL VOC2012 dataset and the DDD17 event-based dataset. In addition to showing the feasibility of SNNs for semantic segmentation, we show that SNNs can be more robust and energy-efficient compared to their ANN counterparts in this domain.
updated: Thu Oct 14 2021 21:53:03 GMT+0000 (UTC)
published: Thu Oct 14 2021 21:53:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト