場所の認識は、オンライン ローカリゼーション アルゴリズムに最初の推測を提供できるため、自動運転車が完全な自律性を実現するための重要な手法です。画像または点群に基づく現在の方法は満足のいくパフォーマンスを達成していますが、大縮尺の点群マップ上で画像をローカライズすることは、かなり未踏の問題のままです。このクロスモーダル マッチング タスクは、画像と点群から一貫した記述子を抽出することが難しいため、困難です。この論文では、クロスモーダルデータを同じモダリティに変換することで問題を解決する I2P-Rec メソッドを提案します。具体的には、深度推定ネットワークの最近の成功を利用して、画像から点群を復元します。次に、点群を鳥瞰図 (BEV) 画像に投影します。 BEV 画像を中間表現として使用し、畳み込みニューラル ネットワークとそれに続く NetVLAD レイヤーを使用してグローバルな特徴を抽出し、マッチングを実行します。 KITTI データセットでメソッドを評価します。実験結果は、トレーニング データの小さなセットだけで、I2P-Rec が 90% を超えるトップ 1 の再現率を達成できることを示しています。また、点群マップで単眼画像とステレオ画像をローカライズする場合、それぞれ 80% と 90% を超えるトップ 1% の再現率を達成し、未知の環境にうまく一般化できます。
Place recognition is an important technique for autonomous cars to achieve full autonomy since it can provide an initial guess to online localization algorithms. Although current methods based on images or point clouds have achieved satisfactory performance, localizing the images on a large-scale point cloud map remains a fairly unexplored problem. This cross-modal matching task is challenging due to the difficulty in extracting consistent descriptors from images and point clouds. In this paper, we propose the I2P-Rec method to solve the problem by transforming the cross-modal data into the same modality. Specifically, we leverage on the recent success of depth estimation networks to recover point clouds from images. We then project the point clouds into Bird's Eye View (BEV) images. Using the BEV image as an intermediate representation, we extract global features with a Convolutional Neural Network followed by a NetVLAD layer to perform matching. We evaluate our method on the KITTI dataset. The experimental results show that, with only a small set of training data, I2P-Rec can achieve a recall rate at Top-1 over 90%. Also, it can generalize well to unknown environments, achieving recall rates at Top-1% over 80% and 90%, when localizing monocular images and stereo images on point cloud maps, respectively.