arXiv reaDer
パターン分類に適用されたスパイキング ニューラル ネットワークに基づく、シリコン網膜の生物に触発された視覚的注意
Bio-inspired visual attention for silicon retinas based on spiking neural networks applied to pattern classification
視覚的注意は、他の知覚可能な情報を無視しながら、感覚的手がかりの個別の側面に選択的に焦点を当てる行動的および認知的プロセスとして定義できます。この生物学的メカニズム、より具体的には顕著性の検出は、マルチメディア インデックス作成で長い間使用されており、画像やビデオの関連部分のみを分析して、さらに処理を進めてきました。最近のシリコン網膜 (またはイベント カメラ - 輝度のピクセル単位の変化を測定し、それに応じて非同期イベントを出力するセンサー) の出現により、そのようなセンサーの出力の型破りなタイプに注意と顕著性をどのように適応させるかという問題が生じています。シリコン網膜は、生体網膜の振る舞いを再現することを目的としています。その点で、それらは時間に正確なイベントを生成します。これは、ニューラル スパイクとして解釈され、ニューラル ネットワークによってそのように解釈される可能性があります。特に、スパイキング ニューラル ネットワーク (SNN) は、従来の人工ネットワークよりも生物学に近い非同期タイプの人工ニューラル ネットワークを表しています。これは、主に、時間の経過とともに神経膜と活動電位のダイナミクスを模倣しようとするためです。 SNN は、スパイク トレインの形式で情報を受け取り、処理します。したがって、それらは、シリコン網膜によって測定された着信イベント パターンの効率的な処理と分類の適切な候補になります。この論文では、注意メカニズムの背後にある生物学的背景を確認し、生物学に基づいた低レベルの計算による注意メカニズムを使用して、SNN を使用したイベント ビデオ分類のケース スタディを紹介し、興味深い予備結果を示します。
Visual attention can be defined as the behavioral and cognitive process of selectively focusing on a discrete aspect of sensory cues while disregarding other perceivable information. This biological mechanism, more specifically saliency detection, has long been used in multimedia indexing to drive the analysis only on relevant parts of images or videos for further processing. The recent advent of silicon retinas (or event cameras -- sensors that measure pixel-wise changes in brightness and output asynchronous events accordingly) raises the question of how to adapt attention and saliency to the unconventional type of such sensors' output. Silicon retina aims to reproduce the biological retina behaviour. In that respect, they produce punctual events in time that can be construed as neural spikes and interpreted as such by a neural network. In particular, Spiking Neural Networks (SNNs) represent an asynchronous type of artificial neural network closer to biology than traditional artificial networks, mainly because they seek to mimic the dynamics of neural membrane and action potentials over time. SNNs receive and process information in the form of spike trains. Therefore, they make for a suitable candidate for the efficient processing and classification of incoming event patterns measured by silicon retinas. In this paper, we review the biological background behind the attentional mechanism, and introduce a case study of event videos classification with SNNs, using a biology-grounded low-level computational attention mechanism, with interesting preliminary results.
updated: Mon May 31 2021 07:34:13 GMT+0000 (UTC)
published: Mon May 31 2021 07:34:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト