arXiv reaDer
SCFlow:スパイクカメラのオプティカルフロー推定
SCFlow: Optical Flow Estimation for Spiking Camera
スパイクカメラは、時間分解能の高いバイオインスパイアードセンサーとして、実際のアプリケーション、特に高速シーンでの動きの推定に大きな可能性を秘めています。オプティカルフロー推定は、画像ベースおよびイベントベースのビジョンで目覚ましい成功を収めていますが、既存の方法をスパイクカメラからのスパイクストリームに直接適用することはできません。従来のオプティカルフローアルゴリズムは、スパイクストリームデータと十分に一致していません。この論文では、スパイクカメラのオプティカルフロー推定のための新しい深層学習パイプラインであるSCFlowを紹介します。重要なのは、特定のスパイクストリームの適切な入力表現を導入することです。これは、唯一の入力としてSCFlowに供給されます。最初のスパイクカメラシミュレーター(SPCS)を紹介します。さらに、SPCSに基づいて、ランダムな高速シーンと適切に設計されたシーンに対応する、スパイクカメラ用の2つのオプティカルフローデータセット(SPIkingly FlyingThingsとPhoto-realisticHigh-speed Motion、それぞれSPIFTとPHMと表記)を最初に提案します。経験的に、SCFlowがさまざまな高速シーンのスパイクストリームからオプティカルフローを予測し、データセットの既存の方法よりも優れていることを示します。すべてのコードと構築されたデータセットは、公開後にリリースされます。
As a bio-inspired sensor with high temporal resolution, Spiking camera has an enormous potential in real applications, especially for motion estimation in high-speed scenes. Optical flow estimation has achieved remarkable success in image-based and event-based vision, but % existing methods cannot be directly applied in spike stream from spiking camera. conventional optical flow algorithms are not well matched to the spike stream data. This paper presents, SCFlow, a novel deep learning pipeline for optical flow estimation for spiking camera. Importantly, we introduce an proper input representation of a given spike stream, which is fed into SCFlow as the sole input. We introduce the first spiking camera simulator (SPCS). Furthermore, based on SPCS, we first propose two optical flow datasets for spiking camera (SPIkingly Flying Things and Photo-realistic High-speed Motion, denoted as SPIFT and PHM respectively) corresponding to random high-speed and well-designed scenes. Empirically, we show that the SCFlow can predict optical flow from spike stream in different high-speed scenes, and express superiority to existing methods on the datasets. All codes and constructed datasets will be released after publication.
updated: Fri Oct 08 2021 06:16:45 GMT+0000 (UTC)
published: Fri Oct 08 2021 06:16:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト