arXiv reaDer
MSS-DepthNet: マルチステップ スパイキング ニューラル ネットワークによる深度予測
MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network
イベント カメラは、時間分解能が高く、消費電力が少ないため、コンピューター ビジョンやロボティクス アプリケーションに大きな可能性を秘めていると考えられています。ただし、イベント カメラからのイベント ストリーム出力には、既存のコンピューター ビジョン アルゴリズムでは処理できない非同期でまばらな特性があります。スパイキング ニューラル ネットワークは、イベント カメラ タスクの処理に適していると考えられている、新しいイベント ベースの計算パラダイムです。ただし、ディープ SNN の直接トレーニングには劣化の問題があります。この研究では、深さ予測の問題に焦点を当て、設計された新しい残差ブロックと多次元アテンション モジュールを組み合わせたスパイキング ニューラル ネットワーク アーキテクチャを提案することで、これらの問題に対処しています。さらに、SNN 用の新しいイベント ストリーム表現方法が明示的に提案されています。このモデルは、MVSEC データセットで同じサイズの以前の ANN ネットワークよりも優れており、優れた計算効率を示しています。
Event cameras are considered to have great potential for computer vision and robotics applications because of their high temporal resolution and low power consumption characteristics. However, the event stream output from event cameras has asynchronous, sparse characteristics that existing computer vision algorithms cannot handle. Spiking neural network is a novel event-based computational paradigm that is considered to be well suited for processing event camera tasks. However, direct training of deep SNNs suffers from degradation problems. This work addresses these problems by proposing a spiking neural network architecture with a novel residual block designed and multi-dimension attention modules combined, focusing on the problem of depth prediction. In addition, a novel event stream representation method is explicitly proposed for SNNs. This model outperforms previous ANN networks of the same size on the MVSEC dataset and shows great computational efficiency.
updated: Tue Nov 22 2022 10:35:36 GMT+0000 (UTC)
published: Tue Nov 22 2022 10:35:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト