この論文は、2つの画像間の密なピクセル対応を決定する問題と、画像検索における幾何学的対応検証へのその応用に取り組んでいます。主な貢献は、ピクセルレベルでクエリイメージとの密なペアワイズマッチングに基づいて、取得したデータベースイメージのショートリストを再ランク付けするための幾何学的対応検証アプローチです。画像のペア間の周期的に一貫した密なピクセルマッチのセットを決定し、ニューラルネットワークベースの画像記述子を使用して、マッチしたピクセルのローカルな類似性を評価します。最終的な再ランク付けは、新しい類似度関数に基づいています。これは、ローカル類似度メトリックをグローバル類似度メトリックと、一致したピクセルに対して計算された幾何学的整合性測度と融合します。密なマッチングのために、私たちのアプローチは、最近提案された密な幾何学的対応ネットワーク(DGC-Net)の修正バージョンを利用します。これは、アーキテクチャを最適化することによって改善されます。提案されたモデルと類似性メトリックは、最先端の画像検索方法と比較して有利です。さらに、この方法を、データセット全体で有望な結果と一般化を示す長期的な視覚的ローカリゼーションの問題に適用します。
This paper addresses the problem of determining dense pixel correspondences between two images and its application to geometric correspondence verification in image retrieval. The main contribution is a geometric correspondence verification approach for re-ranking a shortlist of retrieved database images based on their dense pair-wise matching with the query image at a pixel level. We determine a set of cyclically consistent dense pixel matches between the pair of images and evaluate local similarity of matched pixels using neural network based image descriptors. Final re-ranking is based on a novel similarity function, which fuses the local similarity metric with a global similarity metric and a geometric consistency measure computed for the matched pixels. For dense matching our approach utilizes a modified version of a recently proposed dense geometric correspondence network (DGC-Net), which we also improve by optimizing the architecture. The proposed model and similarity metric compare favourably to the state-of-the-art image retrieval methods. In addition, we apply our method to the problem of long-term visual localization demonstrating promising results and generalization across datasets.