合成データの助けを借りて、現実世界のカメラのポーズを推定することを学ぶ視覚的位置特定システムを提示します。近年の大きな進歩にもかかわらず、視覚的ローカリゼーションへのほとんどの学習ベースのアプローチは、単一のドメインを対象としており、うまく機能するには、ジオタグ付き画像の高密度データベースが必要です。データ不足の問題を軽減し、ニューラルローカリゼーションモデルのスケーラビリティを向上させるために、地理的なカメラの視点に基づいて、現実世界と仮想世界の間をスムーズに移動する多用途の合成データ生成ツールであるTOPO-DataGenを紹介します。上記の合成データの有用性を紹介および評価するために、新しい大規模なsim-to-realベンチマークデータセットが提案されています。私たちの実験は、合成データが一般的に実際のデータのニューラルネットワークのパフォーマンスを向上させることを明らかにしています。さらに、自己監視によるシーン座標グラウンドトゥルースを最大限に活用したポーズ推定へのクロスモーダル視覚表現学習アプローチであるCrossLocを紹介します。追加のデータがない場合、CrossLocは最先端の方法を大幅に上回り、実質的に高い実データサンプル効率を実現します。コードとデータセットはすべてhttps://github.com/TOPO-EPFL/CrossLocで入手できます。
We present a visual localization system that learns to estimate camera poses in the real world with the help of synthetic data. Despite significant progress in recent years, most learning-based approaches to visual localization target at a single domain and require a dense database of geo-tagged images to function well. To mitigate the data scarcity issue and improve the scalability of the neural localization models, we introduce TOPO-DataGen, a versatile synthetic data generation tool that traverses smoothly between the real and virtual world, hinged on the geographic camera viewpoint. New large-scale sim-to-real benchmark datasets are proposed to showcase and evaluate the utility of the said synthetic data. Our experiments reveal that synthetic data generically enhances the neural network performance on real data. Furthermore, we introduce CrossLoc, a cross-modal visual representation learning approach to pose estimation that makes full use of the scene coordinate ground truth via self-supervision. Without any extra data, CrossLoc significantly outperforms the state-of-the-art methods and achieves substantially higher real-data sample efficiency. Our code and datasets are all available at https://github.com/TOPO-EPFL/CrossLoc.