再ローカリゼーションは、マップベースのローカリゼーション アルゴリズムの基礎です。カメラおよび LiDAR マップベースの手法は、さまざまなシナリオ下でも堅牢であるため、広く普及しています。一般に、同じセンサーを使用したマッピングと位置特定は、同じタイプのデータ間の特徴の照合が容易であるため、精度が高くなります。しかし、カメラには 3D 情報が不足しており、LiDAR はコストが高いため、ライブ画像データと LiDAR マップを組み合わせたクロスメディア手法が開発されています。異なるメディア間の特徴のマッチングは困難ですが、クロスメディアは低コストで精度が同じセンサーベースの方法に匹敵する可能性があるため、AV 再ローカリゼーションの傾向にあると考えられます。この論文では、AV 再定位タスク用の新しいクロスメディア アルゴリズムである CMSG を提案します。セマンティック特徴は、点群と画像特徴の間の相関関係をより適切に解釈するために利用されます。さらに、抽象化されたセマンティック グラフ ノードが導入され、セマンティック特徴の類似性をより適切に抽出するためにグラフ ネットワーク アーキテクチャが統合されています。検証実験は KITTI オドメトリ データセットに対して行われます。私たちの結果は、CMSG が、NVIDIA 1080 Ti GPU 上の 25 FPS の速度で、現在の単一センサーベースの方法と比較して、同等またはそれ以上の精度を実現できることを示しています。
Relocalization is the basis of map-based localization algorithms. Camera and LiDAR map-based methods are pervasive since their robustness under different scenarios. Generally, mapping and localization using the same sensor have better accuracy since matching features between the same type of data is easier. However, due to the camera's lack of 3D information and the high cost of LiDAR, cross-media methods are developing, which combined live image data and Lidar map. Although matching features between different media is challenging, we believe cross-media is the tendency for AV relocalization since its low cost and accuracy can be comparable to the same-sensor-based methods. In this paper, we propose CMSG, a novel cross-media algorithm for AV relocalization tasks. Semantic features are utilized for better interpretation the correlation between point clouds and image features. What's more, abstracted semantic graph nodes are introduced, and a graph network architecture is integrated to better extract the similarity of semantic features. Validation experiments are conducted on the KITTI odometry dataset. Our results show that CMSG can have comparable or even better accuracy compared to current single-sensor-based methods at a speed of 25 FPS on NVIDIA 1080 Ti GPU.