視覚的場所認識(VPR)は、一般的に屋外画像のローカライズに関係しています。ただし、屋外シーンの一部を含む屋内シーンをローカライズすることは、幅広いアプリケーションにとって大きな価値があります。この論文では、窓越しに見える屋外のシーンに基づいて画像をローカライズすることを目的としたタスクであるInside Out Visual Place Recognition(IOVPR)を紹介します。このタスクでは、アムステルダムで撮影された画像を含む新しい大規模データセットAmsterdam-XXXLを紹介します。これは、640万のパノラマストリートビュー画像と1000のユーザー生成屋内クエリで構成されています。さらに、屋内画像をローカライズするための視覚的場所認識方法を適応させるための新しいトレーニングプロトコルInside Out Data Augmentationを導入し、Inside Out Visual PlaceRecognitionの可能性を示します。既存の方法に対するこの大規模なデータセットの難しさを示しながら、提案されたデータ拡張スキームの利点を小規模で経験的に示します。この新しいタスクにより、IOVPRのメソッドの開発を促進することを目指しています。データセットとコードは、https://github.com/saibr/IOVPRで調査目的で入手できます。
Visual Place Recognition (VPR) is generally concerned with localizing outdoor images. However, localizing indoor scenes that contain part of an outdoor scene can be of large value for a wide range of applications. In this paper, we introduce Inside Out Visual Place Recognition (IOVPR), a task aiming to localize images based on outdoor scenes visible through windows. For this task we present the new large-scale dataset Amsterdam-XXXL, with images taken in Amsterdam, that consists of 6.4 million panoramic street-view images and 1000 user-generated indoor queries. Additionally, we introduce a new training protocol Inside Out Data Augmentation to adapt Visual Place Recognition methods for localizing indoor images, demonstrating the potential of Inside Out Visual Place Recognition. We empirically show the benefits of our proposed data augmentation scheme on a smaller scale, whilst demonstrating the difficulty of this large-scale dataset for existing methods. With this new task we aim to encourage development of methods for IOVPR. The dataset and code are available for research purposes at https://github.com/saibr/IOVPR