Camera-to-LiDAR (C2L) 外部キャリブレーション用の新しいアーキテクチャ UniCal を導入します。このアーキテクチャは、Transformer ベースのバックボーン ネットワークを介して自己注意メカニズムを活用し、センサー間の 6 自由度 (DoF) の相対変換を推測します。以前の方法とは異なり、UniCal は、カメラ画像チャネルと LiDAR マッピングをマルチチャネルの統一された表現に集約することにより、入力カメラと LiDAR データの早期融合を実行してから、それらの特徴を単一ブランチ アーキテクチャで共同で抽出します。このシングル ブランチ アーキテクチャにより、UniCal は軽量になり、自動運転などのリソースが制限されたアプリケーションに適しています。実験を通じて、UniCal が既存の方法と比較して最先端の結果を達成することを示します。また、転移学習により、キャリブレーション タスクで学習した重みを、バックボーンを再トレーニングせずにキャリブレーション検証タスクに適用できることも示します。
We introduce a novel architecture, UniCal, for Camera-to-LiDAR (C2L) extrinsic calibration which leverages self-attention mechanisms through a Transformer-based backbone network to infer the 6-degree of freedom (DoF) relative transformation between the sensors. Unlike previous methods, UniCal performs an early fusion of the input camera and LiDAR data by aggregating camera image channels and LiDAR mappings into a multi-channel unified representation before extracting their features jointly with a single-branch architecture. This single-branch architecture makes UniCal lightweight, which is desirable in applications with restrained resources such as autonomous driving. Through experiments, we show that UniCal achieves state-of-the-art results compared to existing methods. We also show that through transfer learning, weights learned on the calibration task can be applied to a calibration validation task without re-training the backbone.