arXiv reaDer
注意ベースの推論アーキテクチャをモデル化するためのイベントカメラシミュレータの設計
Event Camera Simulator Design for Modeling Attention-based Inference Architectures
近年、イメージセンサーのレベルでますます多くの計算を統合するための方法論を実現することに関心が高まっています。上昇傾向は、センサーで直接CNN計算を容易にすることができる新しいイベントカメラを開発することへの研究関心の高まりを見てきました。ただし、イベントベースのカメラは一般に市場で入手できないため、高レベルのモデルとアルゴリズムでのパフォーマンスの調査が制限されます。このホワイトペーパーでは、ハードウェア設計のプロトタイピング、パラメーターの最適化、注意に基づく革新的なアルゴリズムの開発、およびベンチマークのための強力なツールとなるイベントカメラシミュレーターを紹介します。提案されたシミュレータは、分散計算モデルを実装して、画像フレーム内の関連する領域を識別します。私たちのシミュレーターの関連性計算モデルは、モジュールのコレクションとして実現され、並列に計算を実行します。分散計算モデルは構成可能であるため、設計空間の探索に非常に役立ちます。シミュレータのレンダリングエンジンは、新しいイベントが発生した場合にのみフレーム領域をサンプリングします。シミュレーターは、物理カメラと同様の画像処理パイプラインを厳密にエミュレートします。私たちの実験結果は、シミュレータが低いオーバーヘッドでイベントビジョンを効果的にエミュレートできることを示しています。
In recent years, there has been a growing interest in realizing methodologies to integrate more and more computation at the level of the image sensor. The rising trend has seen an increased research interest in developing novel event cameras that can facilitate CNN computation directly in the sensor. However, event-based cameras are not generally available in the market, limiting performance exploration on high-level models and algorithms. This paper presents an event camera simulator that can be a potent tool for hardware design prototyping, parameter optimization, attention-based innovative algorithm development, and benchmarking. The proposed simulator implements a distributed computation model to identify relevant regions in an image frame. Our simulator's relevance computation model is realized as a collection of modules and performs computations in parallel. The distributed computation model is configurable, making it highly useful for design space exploration. The Rendering engine of the simulator samples frame-regions only when there is a new event. The simulator closely emulates an image processing pipeline similar to that of physical cameras. Our experimental results show that the simulator can effectively emulate event vision with low overheads.
updated: Mon May 03 2021 22:41:45 GMT+0000 (UTC)
published: Mon May 03 2021 22:41:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト