シーンの光学的変化を捉えるニューロモーフィックイベントカメラは、高速かつ低消費電力で注目を集めています。ただし、イベントデータは、非常に高い時間分解能を持つ時空間ドメインでノイズが多く、まばらで、不均一であるため、イベントベースのビジョンのバックエンドアルゴリズムを設計することは困難です。既存の方法は、イベントをポイントクラウドベースまたはボクセルベースの表現にエンコードしますが、ノイズや情報の損失に悩まされます。さらに、イベントベースのビジョンのための1つのユニバーサルデザインで静的および動的なシーンを処理する方法を体系的に研究する研究はほとんどありません。この作品は、新しいイベントデータ表現としてAligned Event Tensor(AET)と、静的および動的シーンでのイベントベースのビジョンのモデルを可能にするEvent Frame Net(EFN)と呼ばれるきちんとしたフレームワークを提案します。提案されたAETとEFNはさまざまなデータセットで評価され、既存の最先端の方法を大幅に上回っていることが証明されています。私たちの方法も効率的であり、とりわけ最速の推論速度を達成します。
The neuromorphic event cameras, which capture the optical changes of a scene, have drawn increasing attention due to their high speed and low power consumption. However, the event data are noisy, sparse, and nonuniform in the spatial-temporal domain with an extremely high temporal resolution, making it challenging to design backend algorithms for event-based vision. Existing methods encode events into point-cloud-based or voxel-based representations, but suffer from noise and/or information loss. Additionally, there is little research that systematically studies how to handle static and dynamic scenes with one universal design for event-based vision. This work proposes the Aligned Event Tensor (AET) as a novel event data representation, and a neat framework called Event Frame Net (EFN), which enables our model for event-based vision under static and dynamic scenes. The proposed AET and EFN are evaluated on various datasets, and proved to surpass existing state-of-the-art methods by large margins. Our method is also efficient and achieves the fastest inference speed among others.