深度推定は重要なコンピュータービジョンタスクであり、特に自動運転車でのナビゲーションやロボット工学でのオブジェクト操作に役立ちます。ここでは、エンドツーエンドのニューロモルフィックアプローチを使用して解決し、2つのイベントベースのカメラとスパイキングニューラルネットワーク(SNN)を、わずかに変更されたU-Netのようなエンコーダ-デコーダアーキテクチャと組み合わせて、StereoSpikeと名付けました。具体的には、Multi Vehicle Stereo Event Camera Dataset(MVSEC)を使用しました。これは、代理勾配降下法を使用して、監視ありの方法でStereoSpikeをトレーニングするために使用された深さのグラウンドトゥルースを提供します。デコーダーのスパイクから高密度のアナログ予測(各ピクセルの深さ)を取得するための新しい読み出しパラダイムを提案します。このアーキテクチャは、スパイクのないアーキテクチャよりも非常によく一般化されており、最先端のテスト精度につながることを示しています。私たちの知る限り、このような大規模な回帰問題が完全なスパイキングネットワークによって解決されるのは初めてです。最後に、精度のコストを最小限に抑えながら、正則化によって低い発火率(<10%)が得られることを示します。これは、StereoSpikeをニューロモルフィックチップに効率的に実装できることを意味し、低電力でリアルタイムの組み込みシステムへの扉を開きます。
Depth estimation is an important computer vision task, useful in particular for navigation in autonomous vehicles, or for object manipulation in robotics. Here we solved it using an end-to-end neuromorphic approach, combining two event-based cameras and a Spiking Neural Network (SNN) with a slightly modified U-Net-like encoder-decoder architecture, that we named StereoSpike. More specifically, we used the Multi Vehicle Stereo Event Camera Dataset (MVSEC). It provides a depth ground-truth, which was used to train StereoSpike in a supervised manner, using surrogate gradient descent. We propose a novel readout paradigm to obtain a dense analog prediction -- the depth of each pixel -- from the spikes of the decoder. We demonstrate that this architecture generalizes very well, even better than its non-spiking counterparts, leading to state-of-the-art test accuracy. To the best of our knowledge, it is the first time that such a large-scale regression problem is solved by a fully spiking network. Finally, we show that low firing rates (<10%) can be obtained via regularization, with a minimal cost in accuracy. This means that StereoSpike could be efficiently implemented on neuromorphic chips, opening the door for low power and real time embedded systems.