arXiv reaDer
3D知覚用のステレオハイブリッドイベントフレーム(SHEF)カメラ
Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception
ステレオカメラシステムは、3Dの世界を認識するためのロボット工学アプリケーションで重要な役割を果たします。ただし、従来のカメラには、基盤となるフレームベースのメカニズムにより、ダイナミックレンジが低く、モーションブラーが発生し、遅延が発生するなどの欠点があります。イベントカメラは、各ピクセルの明るさの変化を細かい時間分解能で個別に報告するため、これらの制限に対処しますが、絶対強度情報を直接取得することはできません。統合されたハイブリッドイベントフレームセンサー(DAVISなど)が利用可能ですが、そのようなカメラの回路製造においてピクセルレベルで結合することにより、データの品質が低下します。この論文は、別々の高品質の純粋なイベントと純粋なフレームカメラを備えたセンサーモダリティを提供し、それぞれの別々のセンサーの制限を克服し、ステレオ深度推定を可能にするステレオハイブリッドイベントフレーム(SHEF)カメラシステムを提案します。視差推定アルゴリズムの評価を目的としたSHEFデータセットを提供し、フレームデータで検出されたエッジと相関するイベントストリームから抽出されたエッジ情報を使用するステレオ視差推定アルゴリズムを導入します。私たちの視差推定は、SHEFデータセットの最先端のステレオマッチングアルゴリズムよりも優れています。
Stereo camera systems play an important role in robotics applications to perceive the 3D world. However, conventional cameras have drawbacks such as low dynamic range, motion blur and latency due to the underlying frame-based mechanism. Event cameras address these limitations as they report the brightness changes of each pixel independently with a fine temporal resolution, but they are unable to acquire absolute intensity information directly. Although integrated hybrid event-frame sensors (eg., DAVIS) are available, the quality of data is compromised by coupling at the pixel level in the circuit fabrication of such cameras. This paper proposes a stereo hybrid event-frame (SHEF) camera system that offers a sensor modality with separate high-quality pure event and pure frame cameras, overcoming the limitations of each separate sensor and allowing for stereo depth estimation. We provide a SHEF dataset targeted at evaluating disparity estimation algorithms and introduce a stereo disparity estimation algorithm that uses edge information extracted from the event stream correlated with the edge detected in the frame data. Our disparity estimation outperforms the state-of-the-art stereo matching algorithm on the SHEF dataset.
updated: Mon Oct 11 2021 04:03:36 GMT+0000 (UTC)
published: Mon Oct 11 2021 04:03:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト