arXiv reaDer
空間チャネルと時間の融合によるニューラル ネットワークのスパイクへの注意
A Spatial-channel-temporal-fused Attention for Spiking Neural Networks
スパイキング ニューラル ネットワーク (SNN) は、脳の計算戦略を模倣し、時空間情報処理においてかなりの機能を発揮します。人間の知覚にとって重要な要素である視覚的注意は、生物学的視覚システムにおいて顕著な領域を選択するための動的なプロセスを指します。視覚的注意メカニズムはコンピュータ ビジョン アプリケーションで大きな成功を収めていますが、SNN に導入されることはほとんどありません。予測的注意リマッピングに関する実験的観察に触発され、本研究では蓄積された過去の空間チャネル情報を利用することで、SNNが基礎となるターゲット領域を効率的に捕捉できるように導くことができる、新しい空間チャネル時間融合型注意(SCTFA)モジュールを提案する。 3 つのイベント ストリーム データセット (DVS ジェスチャー、SL-Animals-DVS、および MNIST-DVS) の体系的な評価を通じて、SCTFA モジュールを備えた SNN (SCTFA-SNN) がベースライン SNN (BL-SNN) を大幅に上回るだけではないことを実証しました。と、縮退された注意モジュールを備えた他の 2 つの SNN モデルは、既存の最先端の手法と競合する精度も達成します。さらに、詳細な分析により、提案された SCTFA-SNN モデルは、許容可能な複雑さと効率を維持しながら、ノイズに対する強力な堅牢性と、不完全なデータに直面した場合の優れた安定性を備えていることが示されています。全体として、これらの発見は、脳の適切な認知メカニズムを組み込むことが、SNN の能力を高めるための有望なアプローチを提供する可能性があることを示しています。
Spiking neural networks (SNNs) mimic brain computational strategies, and exhibit substantial capabilities in spatiotemporal information processing. As an essential factor for human perception, visual attention refers to the dynamic process for selecting salient regions in biological vision systems. Although visual attention mechanisms have achieved great success in computer vision applications, they are rarely introduced into SNNs. Inspired by experimental observations on predictive attentional remapping, we propose a new spatial-channel-temporal-fused attention (SCTFA) module that can guide SNNs to efficiently capture underlying target regions by utilizing accumulated historical spatial-channel information in the present study. Through a systematic evaluation on three event stream datasets (DVS Gesture, SL-Animals-DVS and MNIST-DVS), we demonstrate that the SNN with the SCTFA module (SCTFA-SNN) not only significantly outperforms the baseline SNN (BL-SNN) and two other SNN models with degenerated attention modules, but also achieves competitive accuracy with existing state-of-the-art methods. Additionally, our detailed analysis shows that the proposed SCTFA-SNN model has strong robustness to noise and outstanding stability when faced with incomplete data, while maintaining acceptable complexity and efficiency. Overall, these findings indicate that incorporating appropriate cognitive mechanisms of the brain may provide a promising approach to elevate the capabilities of SNNs.
updated: Sun May 28 2023 09:44:32 GMT+0000 (UTC)
published: Thu Sep 22 2022 07:45:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト