視覚的なローカリゼーションのための既存のアプローチのほとんどは、環境の詳細な3Dモデルを必要とするか、学習ベースの方法の場合は、新しいシーンごとに再トレーニングする必要があります。これは、非常に費用がかかるか、たとえば捜索救助のシナリオなど、大規模で未知の環境では不可能な場合があります。シーンに依存せずに動作する学習ベースのアプローチがありますが、これらのメソッドの一般化機能は、従来のアプローチよりも優れています。このホワイトペーパーでは、拡張回帰部分、階層相関レイヤーの使用、スケールと不確実性の情報の活用など、モデルアーキテクチャに特定の変更を適用することで、新しいシーンに一般化できるアプローチを紹介します。私たちのアプローチは、同じ大きさの画像でSIFT機能を使用する5ポイントアルゴリズムよりも優れており、さらに、さまざまなデータでトレーニングされた以前のすべての学習ベースのアプローチを上回っています。また、それぞれのシーンで特別にトレーニングされたほとんどのアプローチよりも優れています。また、参照画像がほとんどないシナリオでアプローチを評価します。これは、このようなより現実的な条件下で、学習ベースのアプローチが既存の学習ベースの方法と従来の方法の両方を大幅に上回っていることを示しています。
Most existing approaches for visual localization either need a detailed 3D model of the environment or, in the case of learning-based methods, must be retrained for each new scene. This can either be very expensive or simply impossible for large, unknown environments, for example in search-and-rescue scenarios. Although there are learning-based approaches that operate scene-agnostically, the generalization capability of these methods is still outperformed by classical approaches. In this paper, we present an approach that can generalize to new scenes by applying specific changes to the model architecture, including an extended regression part, the use of hierarchical correlation layers, and the exploitation of scale and uncertainty information. Our approach outperforms the 5-point algorithm using SIFT features on equally big images and additionally surpasses all previous learning-based approaches that were trained on different data. It is also superior to most of the approaches that were specifically trained on the respective scenes. We also evaluate our approach in a scenario where only very few reference images are available, showing that under such more realistic conditions our learning-based approach considerably exceeds both existing learning-based and classical methods.