arXiv reaDer
受容野に触発されたロバストなビジュアルサンプリングモデル
A Robust Visual Sampling Model Inspired by Receptive Field
網膜中心窩を模倣したスパイクカメラは、スパイクを発射することにより、ピクセルごとの輝度強度の蓄積を報告できます。時間分解能の高いバイオインスパイアードビジョンセンサーとして、コンピュータービジョンに大きな可能性を秘めています。ただし、現在のスパイクカメラのサンプリングモデルは、量子化とノイズの影響を受けやすいため、オブジェクトのテクスチャの詳細を効果的にキャプチャできません。この作業では、受容野(RVSM)に触発された堅牢な視覚サンプリングモデルを提案します。ここでは、ガウス(DoG)とガウスフィルターの差によって生成されたウェーブレットフィルターを使用して受容野をシミュレートします。逆ウェーブレット変換と同様の対応する方法を使用して、RVSMからのスパイクデータを画像に変換できます。パフォーマンスをテストするために、さまざまなモーションシーンを含む高速モーションスパイクデータセット(HMD)も提案します。 HMDで再構成された画像を比較することにより、RVSMはスパイクカメラの情報をキャプチャする能力を大幅に向上させることができます。さらに重要なことに、受容野メカニズムを模倣して地域情報を収集するため、RVSMは高強度ノイズを効果的にフィルタリングし、スパイクカメラがノイズに大きく敏感であるという問題を改善できます。さらに、サンプリング構造が強力に一般化されているため、RVSMは他のニューロモルフィックビジョンセンサーにも適しています。上記の実験は、スパイクカメラシミュレーターで終了します。
Spike camera mimicking the retina fovea can report per-pixel luminance intensity accumulation by firing spikes. As a bio-inspired vision sensor with high temporal resolution, it has a huge potential for computer vision. However, the sampling model in current Spike camera is so susceptible to quantization and noise that it cannot capture the texture details of objects effectively. In this work, a robust visual sampling model inspired by receptive field (RVSM) is proposed where wavelet filter generated by difference of Gaussian (DoG) and Gaussian filter are used to simulate receptive field. Using corresponding method similar to inverse wavelet transform, spike data from RVSM can be converted into images. To test the performance, we also propose a high-speed motion spike dataset (HMD) including a variety of motion scenes. By comparing reconstructed images in HMD, we find RVSM can improve the ability of capturing information of Spike camera greatly. More importantly, due to mimicking receptive field mechanism to collect regional information, RVSM can filter high intensity noise effectively and improves the problem that Spike camera is sensitive to noise largely. Besides, due to the strong generalization of sampling structure, RVSM is also suitable for other neuromorphic vision sensor. Above experiments are finished in a Spike camera simulator.
updated: Tue Jan 04 2022 08:14:56 GMT+0000 (UTC)
published: Tue Jan 04 2022 08:14:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト