arXiv reaDer
通常のデバイスで1000倍高速なカメラとマシンビジョン
1000x Faster Camera and Machine Vision with Ordinary Devices
デジタルカメラでは、大きな制限があります。フィルムカメラから継承された画像とビデオの形式により、急速に変化するフォトニックの世界をキャプチャできなくなります。ここでは、光子の蓄積がしきい値に達したかどうかを各ビットが表すビットシーケンス配列であるvidarを提示し、いつでもシーンの放射輝度を記録および再構築します。民生用CMOSセンサーと集積回路のみを採用することで、従来のカメラの1,000倍の速さのバイダーカメラを開発しました。バイダーを生物学的視覚のスパイクトレインとして扱うことにより、機械の速度と生物学的視覚のメカニズムを組み合わせたスパイキングニューラルネットワークベースのマシンビジョンシステムをさらに開発し、人間の1,000倍の高速物体検出と追跡を実現しました。ヴィジョン。副審とターゲットポインティングシステムでのバイダーカメラとスーパービジョンシステムの有用性を示します。私たちの研究は、画像とビデオの概念、および写真、映画、ビジュアルメディアなどの関連業界に根本的な革命をもたらし、新しいスパイキングニューラルネットワーク対応のスピードフリーマシンビジョン時代を解き放つことが期待されています。
In digital cameras, we find a major limitation: the image and video form inherited from a film camera obstructs it from capturing the rapidly changing photonic world. Here, we present vidar, a bit sequence array where each bit represents whether the accumulation of photons has reached a threshold, to record and reconstruct the scene radiance at any moment. By employing only consumer-level CMOS sensors and integrated circuits, we have developed a vidar camera that is 1,000x faster than conventional cameras. By treating vidar as spike trains in biological vision, we have further developed a spiking neural network-based machine vision system that combines the speed of the machine and the mechanism of biological vision, achieving high-speed object detection and tracking 1,000x faster than human vision. We demonstrate the utility of the vidar camera and the super vision system in an assistant referee and target pointing system. Our study is expected to fundamentally revolutionize the image and video concepts and related industries, including photography, movies, and visual media, and to unseal a new spiking neural network-enabled speed-free machine vision era.
updated: Sun Jan 23 2022 16:10:11 GMT+0000 (UTC)
published: Sun Jan 23 2022 16:10:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト