イベントベースのセンシングの人気が高まるにつれ、このテクノロジーの可能性を活用するには理論的な理解が必要です。イベントベースのカメラには、フレームをキャプチャしてビデオを録画する代わりに、入力が変更されたときにイベントを送信するセンサーがあり、イベントのタイミングで情報をエンコードします。これは、再構成の保証とアルゴリズムを確立する上で新たな課題を生み出しますが、フレームベースのビデオに勝る利点も提供します。時間エンコードマシンを使用して、イベントベースのセンサーをモデル化します。TEMは、タイミングによって特徴付けられるイベントを発行することによって入力をエンコードし、時間エンコードからの再構築はよく理解されています。帯域制限されたビデオを時間エンコードする場合を検討し、空間センサー密度と全体的な空間および時間分解能の間の依存性を示します。このような依存関係は、時間解像度がビデオのフレームレートのみに依存し、空間解像度がピクセルグリッドのみに依存するフレームベースのビデオでは発生しません。ただし、この依存関係はイベントベースのビデオで自然に発生し、空間でのオーバーサンプリングを可能にして、より良い時間解像度を提供します。そのため、イベントベースのビジョンは、時間の経過とともにより少ないイベントを放出するより多くのセンサーを使用することを奨励します。
As event-based sensing gains in popularity, theoretical understanding is needed to harness this technology's potential. Instead of recording video by capturing frames, event-based cameras have sensors that emit events when their inputs change, thus encoding information in the timing of events. This creates new challenges in establishing reconstruction guarantees and algorithms, but also provides advantages over frame-based video. We use time encoding machines to model event-based sensors: TEMs also encode their inputs by emitting events characterized by their timing and reconstruction from time encodings is well understood. We consider the case of time encoding bandlimited video and demonstrate a dependence between spatial sensor density and overall spatial and temporal resolution. Such a dependence does not occur in frame-based video, where temporal resolution depends solely on the frame rate of the video and spatial resolution depends solely on the pixel grid. However, this dependence arises naturally in event-based video and allows oversampling in space to provide better time resolution. As such, event-based vision encourages using more sensors that emit fewer events over time.