画像のキーポイント抽出は、視覚的なローカリゼーションにとって重要なステップです。屋内環境でのローカリゼーションは、動的または反復的なオブジェクトに信頼性の低い機能が多数存在する可能性があるため、困難です。この種の信頼性は、既存の畳み込みニューラルネットワーク(CNN)ベースの特徴抽出器では十分に学習できません。領域ごとの予測子を使用して特徴の不変性に明示的に対処し、それを点ごとの予測子と組み合わせて画像内の信頼できるキーポイントを選択する、新しいネットワークRaP-Netを提案します。また、このネットワークをトレーニングするために、新しいデータセットOpenLORIS-Locationを構築します。データセットには、ロケーションラベル付きの1553枚の屋内画像が含まれています。同じ場所の画像間にはさまざまなシーンの変化があり、ネットワークが典型的な屋内シーンの不変性を学習するのに役立ちます。実験結果は、OpenLORIS-Locationデータセットでトレーニングされた提案されたRaP-Netが、屋内ローカリゼーションのための既存のCNNベースのキーポイント抽出アルゴリズムを大幅に上回っていることを示しています。コードとデータはhttps://github.com/ivipsourcecode/RaP-Netで入手できます。
Image keypoint extraction is an important step for visual localization. The localization in indoor environment is challenging for that there may be many unreliable features on dynamic or repetitive objects. Such kind of reliability cannot be well learned by existing Convolutional Neural Network (CNN) based feature extractors. We propose a novel network, RaP-Net, which explicitly addresses feature invariability with a region-wise predictor, and combines it with a point-wise predictor to select reliable keypoints in an image. We also build a new dataset, OpenLORIS-Location, to train this network. The dataset contains 1553 indoor images with location labels. There are various scene changes between images on the same location, which can help a network to learn the invariability in typical indoor scenes. Experimental results show that the proposed RaP-Net trained with the OpenLORIS-Location dataset significantly outperforms existing CNN-based keypoint extraction algorithms for indoor localization. The code and data are available at https://github.com/ivipsourcecode/RaP-Net.