自動運転システムは、マルチモーダル センサー スイートを使用して、カメラや LiDAR などの動作領域の信頼性、冗長性、堅牢性を確保します。カメラと LiDAR データを高レベルの認識機能に必要な共通の空間参照フレームに融合するには、正確な外部キャリブレーションが必要です。車両の耐用年数にわたって、物理的外乱により外部キャリブレーションの値が変化し、高レベルの認識機能に誤差が生じる可能性があります。したがって、車両の寿命の間、センサーデータのみを使用してカメラとLiDARのキャリブレーションの値を自動的に更新できる、継続的なオンライン外部キャリブレーションアルゴリズムが必要です。一般に利用可能な単眼深度推定ネットワークによって提供されるカメラ画像の深度推定と、外部キャリブレーションの最適化メトリックとして LiDAR 点群の幾何学的距離との間の相互情報を使用することを提案します。私たちの方法では、キャリブレーション ターゲット、グラウンド トゥルース トレーニング データ、高価なオフライン最適化は必要ありません。私たちは、KITTI-360 データセット上でアルゴリズムの精度、精度、速度、および自己診断機能を実証します。
Automated driving systems use multi-modal sensor suites to ensure the reliable, redundant and robust perception of the operating domain, for example camera and LiDAR. An accurate extrinsic calibration is required to fuse the camera and LiDAR data into a common spatial reference frame required by high-level perception functions. Over the life of the vehicle the value of the extrinsic calibration can change due physical disturbances, introducing an error into the high-level perception functions. Therefore there is a need for continuous online extrinsic calibration algorithms which can automatically update the value of the camera-LiDAR calibration during the life of the vehicle using only sensor data. We propose using mutual information between the camera image's depth estimate, provided by commonly available monocular depth estimation networks, and the LiDAR pointcloud's geometric distance as a optimization metric for extrinsic calibration. Our method requires no calibration target, no ground truth training data and no expensive offline optimization. We demonstrate our algorithm's accuracy, precision, speed and self-diagnosis capability on the KITTI-360 data set.