arXiv reaDer
自動車のジオローカリゼーションのための共同視覚パターン拡張生成トランスフォーマー学習
Co-visual pattern augmented generative transformer learning for automobile geo-localization
地理位置情報は、無人車両のルート計画とナビゲーションの基本的なコンポーネントですが、GNSS ベースの地理位置情報は、サービス拒否状態では機能しません。クロスビュー ジオローカライゼーション (CVGL) は、地理的にタグ付けされた膨大な航空 (衛星など) 画像と照合することにより、地上カメラの地理的位置を推定することを目的としていますが、多くの注目を集めていますが、空中と地上のビュー間での劇的な外観の違い。既存の方法では、さまざまなビューのグローバルな表現は、主にシャムのようなアーキテクチャを使用して抽出されますが、それらのインタラクティブな利点はほとんど考慮されていません。この論文では、クロスビュー知識生成技術をトランスフォーマーと組み合わせて使用する新しいアプローチ、つまり相互生成トランスフォーマー学習 (MGTL) を CVGL に提示します。具体的には、バックボーン ネットワークによって生成された初期表現を取得することにより、MGTL は 2 つの別個の生成サブモジュールを開発します。機構。さらに、航空写真と地上写真の間の共視覚関係をより適切に捉えるために、カスケード型アテンション マスキング アルゴリズムを導入して、精度をさらに高めます。挑戦的な公的ベンチマーク、すなわち CVACT および CVUSA に関する広範な実験は、既存の最先端モデルと比較して新しい記録を設定する提案された方法の有効性を示しています。
Geolocation is a fundamental component of route planning and navigation for unmanned vehicles, but GNSS-based geolocation fails under denial-of-service conditions. Cross-view geo-localization (CVGL), which aims to estimate the geographical location of the ground-level camera by matching against enormous geo-tagged aerial (e.g., satellite) images, has received lots of attention but remains extremely challenging due to the drastic appearance differences across aerial-ground views. In existing methods, global representations of different views are extracted primarily using Siamese-like architectures, but their interactive benefits are seldom taken into account. In this paper, we present a novel approach using cross-view knowledge generative techniques in combination with transformers, namely mutual generative transformer learning (MGTL), for CVGL. Specifically, by taking the initial representations produced by the backbone network, MGTL develops two separate generative sub-modules -- one for aerial-aware knowledge generation from ground-view semantics and vice versa -- and fully exploits the entirely mutual benefits through the attention mechanism. Moreover, to better capture the co-visual relationships between aerial and ground views, we introduce a cascaded attention masking algorithm to further boost accuracy. Extensive experiments on challenging public benchmarks, i.e., CVACT and CVUSA, demonstrate the effectiveness of the proposed method which sets new records compared with the existing state-of-the-art models.
updated: Thu Apr 20 2023 12:49:27 GMT+0000 (UTC)
published: Thu Mar 17 2022 07:29:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト