ローリングシャッター(RS)メカニズムは、スマートフォンや自動運転車に欠かせない部品である民生用カメラで広く使用されています。 RS効果は、カメラとシーンの間の相対運動時に画像の歪みを引き起こします。この効果は、ビデオの安定化、運動からの構造、および視覚支援オドメトリで考慮する必要があります。最近の研究では、RS効果を考慮して、以前のグローバルシャッター(GS)メソッドが改善されています。ただし、RSがセンサーアセンブリ内のカメラの時空間キャリブレーションにどのように影響するかはまだ不明です。これは、前述のアプリケーションで優れたパフォーマンスを発揮するために重要です。この作業では、カメラIMUシステムを例として取り上げ、時空間キャリブレーションに対するRSの影響を調べます。この目的のために、キャリブレーションターゲットを使用して、連続時間Bスプラインを備えたRSカメラ-IMUシステムのキャリブレーション方法を開発します。 GSカメラのキャリブレーションとは異なり、ターゲット上のランドマークのすべての観測には、連続時間Bスプラインが適合した固有のカメラポーズがあります。 4セットの公開キャリブレーションデータから生成されたシミュレーションデータを使用して、RSが外部パラメータに著しく影響し、一般的なスマートフォンカメラのようにRS設定で方向に約1 ^∘、平行移動に約2cmのエラーを引き起こす可能性があることを示します。 2つの産業用カメラ-IMUシステムによって収集された実際のデータを使用すると、RS効果を考慮すると、より正確で一貫性のある時空間キャリブレーションが得られることがわかります。さらに、私たちの方法は、RSのライン間遅延も正確に較正します。シミュレーションとキャリブレーションのコードは公開されています。
The rolling shutter (RS) mechanism is widely used by consumer-grade cameras, which are essential parts in smartphones and autonomous vehicles. The RS effect leads to image distortion upon relative motion between a camera and the scene. This effect needs to be considered in video stabilization, structure from motion, and vision-aided odometry, for which recent studies have improved earlier global shutter (GS) methods by accounting for the RS effect. However, it is still unclear how the RS affects spatiotemporal calibration of the camera in a sensor assembly, which is crucial to good performance in aforementioned applications. This work takes the camera-IMU system as an example and looks into the RS effect on its spatiotemporal calibration. To this end, we develop a calibration method for a RS-camera-IMU system with continuous-time B-splines by using a calibration target. Unlike in calibrating GS cameras, every observation of a landmark on the target has a unique camera pose fitted by continuous-time B-splines. With simulated data generated from four sets of public calibration data, we show that RS can noticeably affect the extrinsic parameters, causing errors about 1^∘ in orientation and 2 cm in translation with a RS setting as in common smartphone cameras. With real data collected by two industrial camera-IMU systems, we find that considering the RS effect gives more accurate and consistent spatiotemporal calibration. Moreover, our method also accurately calibrates the inter-line delay of the RS. The code for simulation and calibration is publicly available.