視覚的位置特定は、既知のシーンで特定の画像(または一連の画像)が取得される位置と方向を推定する問題です。これは、自動運転車から拡張/仮想現実システムまで、幅広いコンピュータービジョンおよびロボット工学アプリケーションの重要な部分です。視覚的なローカリゼーション技術は、季節、天候、照明、人為的な変化など、さまざまな条件下で確実かつ堅牢に機能する必要があります。最近のベンチマークの取り組みは、さまざまな条件下で画像を提供することでこれをモデル化しており、コミュニティはこれらのデータセットの開始以来、急速な進歩を遂げてきました。ただし、それらはいくつかの地理的地域に限定されており、多くの場合、単一のデバイスで記録されます。現在のアルゴリズムの失敗事例に焦点を当てて、クラウドソーシングされたデータを使用して広範囲の地理的領域とカメラデバイスをカバーする、屋外シーンでの視覚的ローカリゼーションの新しいベンチマークを提案します。最先端のローカリゼーションアプローチを使用した実験では、データセットが非常に困難であり、評価されたすべてのメソッドが最も難しい部分で失敗していることが示されています。データセットリリースの一部として、データセットを生成するために使用されるツールを提供し、効率的かつ効果的な2D対応アノテーションが参照ポーズを取得できるようにします。
Visual localization is the problem of estimating the position and orientation from which a given image (or a sequence of images) is taken in a known scene. It is an important part of a wide range of computer vision and robotics applications, from self-driving cars to augmented/virtual reality systems. Visual localization techniques should work reliably and robustly under a wide range of conditions, including seasonal, weather, illumination and man-made changes. Recent benchmarking efforts model this by providing images under different conditions, and the community has made rapid progress on these datasets since their inception. However, they are limited to a few geographical regions and often recorded with a single device. We propose a new benchmark for visual localization in outdoor scenes, using crowd-sourced data to cover a wide range of geographical regions and camera devices with a focus on the failure cases of current algorithms. Experiments with state-of-the-art localization approaches show that our dataset is very challenging, with all evaluated methods failing on its hardest parts. As part of the dataset release, we provide the tooling used to generate it, enabling efficient and effective 2D correspondence annotation to obtain reference poses.