セマンティック情報を使用して、LiDARおよびカメラシステムの自動、ターゲットレス、外部キャリブレーションのアルゴリズムを提案します。この目標は、センサー間の意味情報の相互情報量(MI)を最大化し、ニューラルネットワークを利用して意味相互情報を推定し、行列指数関数をキャリブレーション計算に使用することで実現します。カーネルベースのサンプリングを使用して、LiDAR投影点に基づくカメラ測定からデータをサンプリングし、勾配ベースの最適化手法の使用をサポートする新しい微分可能目的関数として問題を定式化します。また、2DMIベースの画像レジストレーションを使用した初期キャリブレーション方法も紹介します。最後に、メソッドの堅牢性を示し、合成データセットの精度を定量的に分析し、KITTI360およびRELLIS-3Dベンチマークデータセットでアルゴリズムを定性的に評価し、最近の同等のアプローチよりも改善されていることを示します。
We propose an algorithm for automatic, targetless, extrinsic calibration of a LiDAR and camera system using semantic information. We achieve this goal by maximizing mutual information (MI) of semantic information between sensors, leveraging a neural network to estimate semantic mutual information, and matrix exponential for calibration computation. Using kernel-based sampling to sample data from camera measurement based on LiDAR projected points, we formulate the problem as a novel differentiable objective function which supports the use of gradient-based optimization methods. We also introduce an initial calibration method using 2D MI-based image registration. Finally, we demonstrate the robustness of our method and quantitatively analyze the accuracy on a synthetic dataset and also evaluate our algorithm qualitatively on KITTI360 and RELLIS-3D benchmark datasets, showing improvement over recent comparable approaches.