この作業は、クロスビュー カメラ ポーズ推定、つまり、ローカル エリアの航空画像に対して、特定の地上レベルの画像の 3-DoF カメラ ポーズを決定することを扱います。地上および空中の特徴抽出器、特徴アグリゲーター、姿勢予測器で構成される SliceMatch を提案します。特徴抽出器は、地上および航空画像から高密度の特徴を抽出します。一連の候補カメラ ポーズが与えられると、フィーチャ アグリゲーターは、単一の地上記述子と、一連の回転同変ポーズ依存空中記述子を構築します。特に、私たちの新しい航空機能アグリゲーターには、地上ビューのガイド付き航空機能選択用のクロスビュー アテンション モジュールがあり、航空画像上の地上カメラの視錐台の幾何学的投影を利用して機能をプールします。空中記述子の効率的な構築は、事前に計算されたマスクを使用し、回転したポーズの空中記述子を再構築することによって実現されます。 SliceMatch は対照学習を使用してトレーニングされ、姿勢推定は地上記述子と空中記述子の間の類似性比較として定式化されます。 SliceMatch は、VIGOR および KITTI データセットのローカリゼーション エラーの中央値で最新技術を 19% および 62% 上回っており、最速のベースラインの 3 倍の FPS を備えています。
This work addresses cross-view camera pose estimation, i.e., determining the 3-DoF camera pose of a given ground-level image w.r.t. an aerial image of the local area. We propose SliceMatch, which consists of ground and aerial feature extractors, feature aggregators, and a pose predictor. The feature extractors extract dense features from the ground and aerial images. Given a set of candidate camera poses, the feature aggregators construct a single ground descriptor and a set of rotational equivariant pose-dependent aerial descriptors. Notably, our novel aerial feature aggregator has a cross-view attention module for ground-view guided aerial feature selection, and utilizes the geometric projection of the ground camera's viewing frustum on the aerial image to pool features. The efficient construction of aerial descriptors is achieved by using precomputed masks and by re-assembling the aerial descriptors for rotated poses. SliceMatch is trained using contrastive learning and pose estimation is formulated as a similarity comparison between the ground descriptor and the aerial descriptors. SliceMatch outperforms the state-of-the-art by 19% and 62% in median localization error on the VIGOR and KITTI datasets, with 3x FPS of the fastest baseline.