イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーです。各ピクセルは、イベントによって非同期的にトリガーされます。トリガーイベントは、ピクセルに照射された明るさの変化です。明るさの増減が特定のしきい値よりも高い場合、イベントが出力されます。従来のカメラと比較して、イベントカメラにはダイナミックレンジが高く、モーションブラーがないという利点があります。イベントは強度エッジの見かけの動きによって引き起こされるため、3D再構成されたマップの大部分は、シーンエッジ、つまり半密度マップのみで構成されます。これは、一部のアプリケーションには不十分です。本論文では、イベントベースの高密度再構成を実現するためのパイプラインを提案する。まず、深層学習を使用して、イベントから強度画像を再構築します。次に、運動からの構造(SfM)を使用して、カメラの内因性、外因性、およびスパース点群を推定します。最後に、マルチビューステレオ(MVS)を使用して、高密度の再構築を完了します。
Event cameras are a new type of sensors that are different from traditional cameras. Each pixel is triggered asynchronously by event. The trigger event is the change of the brightness irradiated on the pixel. If the increment or decrement of brightness is higher than a certain threshold, an event is output. Compared with traditional cameras, event cameras have the advantages of high dynamic range and no motion blur. Since events are caused by the apparent motion of intensity edges, the majority of 3D reconstructed maps consist only of scene edges, i.e., semi-dense maps, which is not enough for some applications. In this paper, we propose a pipeline to realize event-based dense reconstruction. First, deep learning is used to reconstruct intensity images from events. And then, structure from motion (SfM) is used to estimate camera intrinsic, extrinsic and sparse point cloud. Finally, multi-view stereo (MVS) is used to complete dense reconstruction.