視覚的な場所の認識は、ロボット工学と自律システムにとって挑戦的なタスクであり、常に変化する世界での外観と視点の変化という2つの問題に対処する必要があります。このホワイトペーパーでは、Patch-NetVLADを紹介します。これは、NetVLAD残差からパッチレベルの機能を導出することにより、ローカル記述子メソッドとグローバル記述子メソッドの両方の利点を組み合わせるための新しい定式化を提供します。既存のローカルキーポイント特徴の固定空間近隣レジームとは異なり、私たちの方法は、特徴空間グリッド上で定義された深く学習されたローカル特徴の集約とマッチングを可能にします。さらに、統合された特徴空間を介して補完的なスケール(つまりパッチサイズ)を持つパッチ特徴のマルチスケール融合を紹介し、融合された特徴が条件(季節、構造、照明)と視点(翻訳と回転)が変化します。 Patch-NetVLADは、同等のコンピューティングでグローバルおよびローカルの機能記述子ベースの方法よりも優れており、ECCV2020でのFacebook Mapillary Visual Place Recognition Challengeの受賞など、さまざまな困難な実世界のデータセットで最先端の視覚的場所認識結果を達成します。 。また、ユーザーの要件にも適応でき、速度が最適化されたバージョンは、最先端技術よりも1桁以上高速に動作します。 Patch-NetVLADは、構成可能なフレームワークで優れたパフォーマンスと改善された計算効率を組み合わせることにより、スタンドアロンの場所認識機能とSLAMシステムの全体的なパフォーマンスの両方を強化するのに最適です。
Visual Place Recognition is a challenging task for robotics and autonomous systems, which must deal with the twin problems of appearance and viewpoint change in an always changing world. This paper introduces Patch-NetVLAD, which provides a novel formulation for combining the advantages of both local and global descriptor methods by deriving patch-level features from NetVLAD residuals. Unlike the fixed spatial neighborhood regime of existing local keypoint features, our method enables aggregation and matching of deep-learned local features defined over the feature-space grid. We further introduce a multi-scale fusion of patch features that have complementary scales (i.e. patch sizes) via an integral feature space and show that the fused features are highly invariant to both condition (season, structure, and illumination) and viewpoint (translation and rotation) changes. Patch-NetVLAD outperforms both global and local feature descriptor-based methods with comparable compute, achieving state-of-the-art visual place recognition results on a range of challenging real-world datasets, including winning the Facebook Mapillary Visual Place Recognition Challenge at ECCV2020. It is also adaptable to user requirements, with a speed-optimised version operating over an order of magnitude faster than the state-of-the-art. By combining superior performance with improved computational efficiency in a configurable framework, Patch-NetVLAD is well suited to enhance both stand-alone place recognition capabilities and the overall performance of SLAM systems.