イベントカメラは、特に高速および高ダイナミックレンジのシーンで、視覚の有望な代替手段を提供してきました。最近、多くの深層学習手法が、オプティカルフロー推定などの多くのイベントベースの問題に対してモデルフリーのソリューションを提供することに大きな成功を収めています。ただし、既存の深層学習手法では、アーキテクチャ設計の観点から時間情報の重要性に十分に対応しておらず、時空間的特徴を効果的に抽出することはできません。スパイキングニューラルネットワークを利用する別の研究ラインは、より深いアーキテクチャのトレーニングの問題に悩まされています。これらの点に対処するために、信号増強のためにイベントの時間分布をキャプチャする新しい入力表現が提案されます。さらに、畳み込みゲート付き回帰ユニットを利用して一連のイベント画像から特徴マップを抽出する、イベントベースのオプティカルフロー推定のための時空間再帰エンコーディング-デコーディングニューラルネットワークアーキテクチャを紹介します。さらに、私たちのアーキテクチャでは、相関層や反復残差リファインスキームなど、従来のフレームベースのコアモジュールを組み込むことができます。ネットワークは、Multi-Vehicle Stereo EventCameraデータセットでの自己教師あり学習でエンドツーエンドでトレーニングされています。これは、既存のすべての最先端の方法を大幅に上回っていることを示しています。
Event camera has offered promising alternative for visual perception, especially in high speed and high dynamic range scenes. Recently, many deep learning methods have shown great success in providing model-free solutions to many event-based problems, such as optical flow estimation. However, existing deep learning methods did not address the importance of temporal information well from the perspective of architecture design and cannot effectively extract spatio-temporal features. Another line of research that utilizes Spiking Neural Network suffers from training issues for deeper architecture. To address these points, a novel input representation is proposed that captures the events temporal distribution for signal enhancement. Moreover, we introduce a spatio-temporal recurrent encoding-decoding neural network architecture for event-based optical flow estimation, which utilizes Convolutional Gated Recurrent Units to extract feature maps from a series of event images. Besides, our architecture allows some traditional frame-based core modules, such as correlation layer and iterative residual refine scheme, to be incorporated. The network is end-to-end trained with self-supervised learning on the Multi-Vehicle Stereo Event Camera dataset. We have shown that it outperforms all the existing state-of-the-art methods by a large margin.