カメラのポーズの精度を測定するベンチマークデータセットは、視覚的な再ローカリゼーション研究の進歩を後押ししました。何千もの画像のポーズを取得するには、参照アルゴリズムを使用して疑似グラウンドトゥルースを生成するのが一般的です。人気のある選択肢には、可能な場合は深度カメラなどの追加センサーを使用した、Structure-from-Motion(SfM)およびSimultaneous-Localisation-and-Mapping(SLAM)があります。したがって、再ローカリゼーションベンチマークは、各メソッドが参照アルゴリズムの結果をどれだけうまく複製するかを測定します。これは、参照アルゴリズムの選択が特定のファミリーの再ローカリゼーション方法を支持するかどうかという疑問を投げかけます。このホワイトペーパーでは、広く使用されている2つの再ローカリゼーションデータセットを分析し、参照アルゴリズムの選択によって評価結果が実際に異なることを示しています。したがって、再ローカリゼーションの文献における一般的な信念、つまり、学習ベースのシーン座標回帰が従来の特徴ベースの方法よりも優れていること、およびRGB-Dベースの方法がRGBベースの方法よりも優れていることを疑問視します。再ローカリゼーション手法のランク付けに関する主張は、参照アルゴリズムのタイプ、および手法と参照アルゴリズムの類似性を考慮に入れる必要があると主張します。
Benchmark datasets that measure camera pose accuracy have driven progress in visual re-localisation research. To obtain poses for thousands of images, it is common to use a reference algorithm to generate pseudo ground truth. Popular choices include Structure-from-Motion (SfM) and Simultaneous-Localisation-and-Mapping (SLAM) using additional sensors like depth cameras if available. Re-localisation benchmarks thus measure how well each method replicates the results of the reference algorithm. This begs the question whether the choice of the reference algorithm favours a certain family of re-localisation methods. This paper analyzes two widely used re-localisation datasets and shows that evaluation outcomes indeed vary with the choice of the reference algorithm. We thus question common beliefs in the re-localisation literature, namely that learning-based scene coordinate regression outperforms classical feature-based methods, and that RGB-D-based methods outperform RGB-based methods. We argue that any claims on ranking re-localisation methods should take the type of the reference algorithm, and the similarity of the methods to the reference algorithm, into account.