ニューロモルフィック センシングとコンピューティングは、非常にエネルギー効率が高く、広帯域幅のセンサー処理が期待できます。ニューロモルフィック コンピューティングの主な課題は、離散的なスパイクとより複雑なニューロン ダイナミクスのために、従来の人工ニューラル ネットワーク (ANN) の学習アルゴリズムがスパイキング ニューラル ネットワーク (SNN) に直接移行しないことです。結果として、SNN はまだ複雑で大規模なタスクにうまく適用されていません。この記事では、イベントベースのカメラ入力からのオプティカル フロー推定の自己教師あり学習の問題に焦点を当て、最先端の ANN トレーニング パイプラインに必要な変更を調査して、それにうまく取り組むために必要な変更を調査します。 SNN。具体的には、最初に入力イベント表現を変更して、最小限の明示的な時間情報ではるかに小さなタイム スライスをエンコードします。その結果、ネットワークの神経ダイナミクスと反復接続が、時間の経過とともに情報を統合する役割を果たします。さらに、イベントベースのオプティカルフローの自己監視損失関数を再定式化して、凸性を改善します。提案されたパイプラインを使用して、さまざまなタイプのリカレント ANN および SNN で実験を行います。 SNN に関しては、パラメーターの初期化と最適化、代理勾配形状、適応神経メカニズムなどの要素の影響を調査します。初期化と代理勾配幅は、疎入力での学習を可能にする上で重要な役割を果たし、適応性と学習可能なニューロン パラメーターを含めるとパフォーマンスが向上することがわかりました。提案された ANN と SNN のパフォーマンスは、自己監視された方法でトレーニングされた現在の最先端の ANN のパフォーマンスと同等であることを示しています。
Neuromorphic sensing and computing hold a promise for highly energy-efficient and high-bandwidth-sensor processing. A major challenge for neuromorphic computing is that learning algorithms for traditional artificial neural networks (ANNs) do not transfer directly to spiking neural networks (SNNs) due to the discrete spikes and more complex neuronal dynamics. As a consequence, SNNs have not yet been successfully applied to complex, large-scale tasks. In this article, we focus on the self-supervised learning problem of optical flow estimation from event-based camera inputs, and investigate the changes that are necessary to the state-of-the-art ANN training pipeline in order to successfully tackle it with SNNs. More specifically, we first modify the input event representation to encode a much smaller time slice with minimal explicit temporal information. Consequently, we make the network's neuronal dynamics and recurrent connections responsible for integrating information over time. Moreover, we reformulate the self-supervised loss function for event-based optical flow to improve its convexity. We perform experiments with various types of recurrent ANNs and SNNs using the proposed pipeline. Concerning SNNs, we investigate the effects of elements such as parameter initialization and optimization, surrogate gradient shape, and adaptive neuronal mechanisms. We find that initialization and surrogate gradient width play a crucial part in enabling learning with sparse inputs, while the inclusion of adaptivity and learnable neuronal parameters can improve performance. We show that the performance of the proposed ANNs and SNNs are on par with that of the current state-of-the-art ANNs trained in a self-supervised manner.