従来のRGBカメラに比べていくつかの利点があるため、イベントカメラは、高速モーション、高ダイナミックレンジ、および/または電力制約のある困難なシナリオで視覚的なタスクに取り組むための新しい機会を提供しました。しかし、画像/ビデオ圧縮とは異なり、イベント圧縮アルゴリズムのパフォーマンスは満足のいく実用的なものとはほど遠いものです。イベントを圧縮するための主な課題は、一意のイベントデータ形式です。つまり、非同期で発生するイベントタプルのストリームで、それぞれが2D空間位置、タイムスタンプ、極性(明るさの増減を示す)をエンコードします。イベントは時間的変動のみをエンコードするため、圧縮に不可欠な空間構造が不足しています。この問題に対処するために、隣接する強度画像から導出されたクワッドツリー(QT)セグメンテーションマップに基づく新しいイベント圧縮アルゴリズムを提案します。 QTは、3D時空間ボリューム内の2D空間優先度を通知します。イベントのエンコード手順では、最初にイベントが時間の経過とともに集計され、極性ベースのイベントヒストグラムが形成されます。次に、ヒストグラムは、QTベースのセグメンテーションマップによって優先順位が付けられたポアソンディスクサンプリングを介して可変的にサンプリングされます。次に、サンプリングされたイベントの空間情報と極性情報をそれぞれエンコードするために差分エンコードとランレングスエンコードが使用され、続いてハフマンエンコードが使用されて最終的にエンコードされたイベントが生成されます。ポアソンディスクサンプリングベースの不可逆イベント圧縮(PDS-LEC)アルゴリズムは、レート歪みベースの最適な割り当てを実行します。平均して、私たちのアルゴリズムは、最先端技術と比較して6倍以上の圧縮を達成します。
With several advantages over conventional RGB cameras, event cameras have provided new opportunities for tackling visual tasks under challenging scenarios with fast motion, high dynamic range, and/or power constraint. Yet unlike image/video compression, the performance of event compression algorithm is far from satisfying and practical. The main challenge for compressing events is the unique event data form, i.e., a stream of asynchronously fired event tuples each encoding the 2D spatial location, timestamp, and polarity (denoting an increase or decrease in brightness). Since events only encode temporal variations, they lack spatial structure which is crucial for compression. To address this problem, we propose a novel event compression algorithm based on a quad tree (QT) segmentation map derived from the adjacent intensity images. The QT informs 2D spatial priority within the 3D space-time volume. In the event encoding step, events are first aggregated over time to form polarity-based event histograms. The histograms are then variably sampled via Poisson Disk Sampling prioritized by the QT based segmentation map. Next, differential encoding and run length encoding are employed for encoding the spatial and polarity information of the sampled events, respectively, followed by Huffman encoding to produce the final encoded events. Our Poisson Disk Sampling based Lossy Event Compression (PDS-LEC) algorithm performs rate-distortion based optimal allocation. On average, our algorithm achieves greater than 6x compression compared to the state of the art.