最近、畳み込みニューラルネットワーク(CNN)に基づく方法が、視覚的場所認識(VPR)の分野で人気を博しています。特に、CNNの中間層の特徴は、手作りの特徴や高層の特徴よりも、大幅な外観の変化に対してより堅牢です。残念ながら、全体的な中間層の機能は、大きな視点の変更に対する堅牢性に欠けています。ここでは、全体的な中間層の特徴を局所的な特徴に分割し、2つの画像間の距離を測定しながら、空間領域から局所的な特徴を整列させる適応動的タイムワーピング(DTW)アルゴリズムを提案します。これにより、視点不変および条件不変の場所認識が実現されます。一方、ローカルマッチングDTW(LM-DTW)アルゴリズムは、時間的アラインメントに基づいて画像シーケンスマッチングを実行するために適用されます。これにより、さらなる改善が達成され、線形時間計算量が保証されます。 5つの代表的なVPRデータセットで広範な実験を実行します。結果は、提案された方法がCNNベースの方法を大幅に改善することを示しています。さらに、私たちの方法は、優れた実行時パフォーマンスを維持しながら、いくつかの最先端の方法よりも優れています。この作業は、VPRの再トレーニングなしで、CNNメソッドのパフォーマンスを向上させる新しい方法を提供します。コードはhttps://github.com/Lu-Feng/STA-VPRで入手できます。
Recently, the methods based on Convolutional Neural Networks (CNNs) have gained popularity in the field of visual place recognition (VPR). In particular, the features from the middle layers of CNNs are more robust to drastic appearance changes than handcrafted features and high-layer features. Unfortunately, the holistic mid-layer features lack robustness to large viewpoint changes. Here we split the holistic mid-layer features into local features, and propose an adaptive dynamic time warping (DTW) algorithm to align local features from the spatial domain while measuring the distance between two images. This realizes viewpoint-invariant and condition-invariant place recognition. Meanwhile, a local matching DTW (LM-DTW) algorithm is applied to perform image sequence matching based on temporal alignment, which achieves further improvements and ensures linear time complexity. We perform extensive experiments on five representative VPR datasets. The results show that the proposed method significantly improves the CNN-based methods. Moreover, our method outperforms several state-of-the-art methods while maintaining good run-time performance. This work provides a novel way to boost the performance of CNN methods without any re-training for VPR. The code is available at https://github.com/Lu-Feng/STA-VPR.