視覚的なローカリゼーション、つまり既知のシーンでのカメラポーズの推定は、自動運転や拡張現実などのテクノロジーのコアコンポーネントです。最先端のローカリゼーションアプローチは、多くの場合、次の2つのタスクのいずれかで画像検索技術に依存します。(1)おおよそのポーズ推定値を提供するか、(2)シーンのどの部分が特定のクエリ画像に表示される可能性があるかを判断します。これらのタスクには、最先端の画像検索アルゴリズムを使用するのが一般的です。これらのアルゴリズムは、多くの場合、広範囲の視点の変更の下で同じランドマークを取得することを目的としてトレーニングされています。ただし、視点の変更に対する堅牢性は、視覚的なローカリゼーションのコンテキストでは必ずしも望ましいとは限りません。このホワイトペーパーでは、複数の視覚的ローカリゼーションタスクにおける画像検索の役割を理解することに焦点を当てています。ベンチマークの設定を紹介し、複数のデータセットで最先端の検索表現を比較します。従来のランドマーク検索/認識タスクでの検索パフォーマンスは、すべてではなく一部のタスクでのみローカリゼーションパフォーマンスに相関することを示します。これは、ローカリゼーションタスク用に特別に設計された検索アプローチの必要性を示しています。当社のベンチマークおよび評価プロトコルは、https://github.com/naver/kapture-localizationで入手できます。
Visual localization, i.e., camera pose estimation in a known scene, is a core component of technologies such as autonomous driving and augmented reality. State-of-the-art localization approaches often rely on image retrieval techniques for one of two tasks: (1) provide an approximate pose estimate or (2) determine which parts of the scene are potentially visible in a given query image. It is common practice to use state-of-the-art image retrieval algorithms for these tasks. These algorithms are often trained for the goal of retrieving the same landmark under a large range of viewpoint changes. However, robustness to viewpoint changes is not necessarily desirable in the context of visual localization. This paper focuses on understanding the role of image retrieval for multiple visual localization tasks. We introduce a benchmark setup and compare state-of-the-art retrieval representations on multiple datasets. We show that retrieval performance on classical landmark retrieval/recognition tasks correlates only for some but not all tasks to localization performance. This indicates a need for retrieval approaches specifically designed for localization tasks. Our benchmark and evaluation protocols are available at https://github.com/naver/kapture-localization.