イベントカメラは、従来のフレームカメラとは異なるバイオインスパイアードセンサーです。固定速度で画像をキャプチャする代わりに、ピクセルごとの輝度変化を非同期で測定し、輝度変化の時間、場所、および符号をエンコードするイベントのストリームを出力します。 。イベントカメラは、従来のカメラと比較して魅力的なプロパティを提供します。高い時間分解能(マイクロ秒のオーダー)、非常に高いダイナミックレンジ(140 dB対60 dB)、低消費電力、高いピクセル帯域幅(kHzのオーダー)モーションブラーを減らします。したがって、イベントカメラは、低レイテンシ、高速、高ダイナミックレンジなどの従来のカメラの困難なシナリオで、ロボット工学とコンピュータービジョンに大きな可能性を秘めています。ただし、これらのセンサーの可能性を引き出すために、これらのセンサーの型破りな出力を処理する新しい方法が必要です。このホワイトペーパーでは、イベントベースのビジョンの新たな分野の包括的な概要を提供し、イベントカメラの優れた特性を引き出すために開発されたアプリケーションとアルゴリズムに焦点を当てます。イベントカメラの動作原理、利用可能な実際のセンサー、および低レベルビジョン(機能の検出と追跡、オプティカルフローなど)から高レベルビジョン(再構成、セグメンテーション、認識)。また、学習ベースの手法を含むイベントを処理するために開発された手法や、スパイクニューラルネットワークなどのこれらの新しいセンサー用の専用プロセッサについても説明します。さらに、マシンが世界を認識して相互作用するための、より効率的で生物にインスパイアされた方法を模索する上で、取り組まなければならない課題とチャンスを強調します。
Event cameras are bio-inspired sensors that differ from conventional frame cameras: Instead of capturing images at a fixed rate, they asynchronously measure per-pixel brightness changes, and output a stream of events that encode the time, location and sign of the brightness changes. Event cameras offer attractive properties compared to traditional cameras: high temporal resolution (in the order of microseconds), very high dynamic range (140 dB vs. 60 dB), low power consumption, and high pixel bandwidth (on the order of kHz) resulting in reduced motion blur. Hence, event cameras have a large potential for robotics and computer vision in challenging scenarios for traditional cameras, such as low-latency, high speed, and high dynamic range. However, novel methods are required to process the unconventional output of these sensors in order to unlock their potential. This paper provides a comprehensive overview of the emerging field of event-based vision, with a focus on the applications and the algorithms developed to unlock the outstanding properties of event cameras. We present event cameras from their working principle, the actual sensors that are available and the tasks that they have been used for, from low-level vision (feature detection and tracking, optic flow, etc.) to high-level vision (reconstruction, segmentation, recognition). We also discuss the techniques developed to process events, including learning-based techniques, as well as specialized processors for these novel sensors, such as spiking neural networks. Additionally, we highlight the challenges that remain to be tackled and the opportunities that lie ahead in the search for a more efficient, bio-inspired way for machines to perceive and interact with the world.