合成開口イメージング(SAI)は、焦点が合っていない前景のオクルージョンをぼかし、焦点が合っているオクルージョンされたターゲットをマルチビュー画像から再構成することで、シースルー効果を実現できます。ただし、非常に密度の高いオクルージョンと極端な照明条件は、従来のフレームベースのカメラに基づくSAIに重大な障害をもたらし、パフォーマンスの低下につながる可能性があります。これらの問題に対処するために、我々は、非常に低い待ち時間と高いダイナミックレンジで非同期イベントを生成できるイベントカメラに基づく新しいSAIシステムを提案します。したがって、ほぼ連続したビューで測定することにより、高密度のオクルージョンの干渉を排除し、同時に露出過多/露出不足の問題に取り組むことができます。遮蔽されたターゲットを再構築するために、スパイキングニューラルネットワーク(SNN)と畳み込みニューラルネットワーク(CNN)で構成されるハイブリッドエンコーダーデコーダーネットワークを提案します。ハイブリッドネットワークでは、収集されたイベントの時空間情報は、最初にSNNレイヤーによってエンコードされ、次にスタイル転送CNNデコーダーによって遮蔽されたターゲットの視覚的イメージに変換されます。実験を通じて、提案された方法は、非常に密なオクルージョンおよび極端な照明条件を処理する際に顕著な性能を示し、純粋なイベントデータを使用して高品質の視覚画像を再構成することができます。
Synthetic aperture imaging (SAI) is able to achieve the see through effect by blurring out the off-focus foreground occlusions and reconstructing the in-focus occluded targets from multi-view images. However, very dense occlusions and extreme lighting conditions may bring significant disturbances to SAI based on conventional frame-based cameras, leading to performance degeneration. To address these problems, we propose a novel SAI system based on the event camera which can produce asynchronous events with extremely low latency and high dynamic range. Thus, it can eliminate the interference of dense occlusions by measuring with almost continuous views, and simultaneously tackle the over/under exposure problems. To reconstruct the occluded targets, we propose a hybrid encoder-decoder network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs). In the hybrid network, the spatio-temporal information of the collected events is first encoded by SNN layers, and then transformed to the visual image of the occluded targets by a style-transfer CNN decoder. Through experiments, the proposed method shows remarkable performance in dealing with very dense occlusions and extreme lighting conditions, and high quality visual images can be reconstructed using pure event data.