高い時間分解能を持つニューロモルフィック センサーとして、スパイク カメラは、高速視覚タスクで大きな可能性を示します。しかし、既存のカメラによる光の伝播過程の高速サンプリングは、避けられないノイズ現象をもたらします。スパイク ストリーム内の固有のノイズを除去することは、スパイク ベースのメソッドにとって常に重要なポイントです。スパイクカメラの詳細なノイズメカニズムに対処した以前の研究はありません。この目的のために、独自の回路に基づくスパイク カメラの系統的ノイズ モデルを提案します。さらに、ノイズ変数を測定するためのノイズ評価方程式と実験シナリオを慎重に構築しました。私たちのノイズ モデルに基づいて、明確な (ノイズの多い) スパイク ストリームを含む、スパイク ストリームのノイズ除去の最初のベンチマークが提案されました。さらに、推測されたスパイク間間隔をデコードすることによってノイズ除去されたスパイクストリームが得られる、調整されたスパイクストリームノイズ除去フレームワーク (DnSS) を設計します。実験は、DnSS が提案されたベンチマークで有望なパフォーマンスを発揮することを示しています。最終的に、DnSS は実際のスパイク ストリームでうまく一般化できます。
As a neuromorphic sensor with high temporal resolution, the spike camera shows enormous potential in high-speed visual tasks. However, the high-speed sampling of light propagation processes by existing cameras brings unavoidable noise phenomena. Eliminating the unique noise in spike stream is always a key point for spike-based methods. No previous work has addressed the detailed noise mechanism of the spike camera. To this end, we propose a systematic noise model for spike camera based on its unique circuit. In addition, we carefully constructed the noise evaluation equation and experimental scenarios to measure noise variables. Based on our noise model, the first benchmark for spike stream denoising is proposed which includes clear (noisy) spike stream. Further, we design a tailored spike stream denoising framework (DnSS) where denoised spike stream is obtained by decoding inferred inter-spike intervals. Experiments show that DnSS has promising performance on the proposed benchmark. Eventually, DnSS can be generalized well on real spike stream.