以前の方法では、最初に一致を見つけてから姿勢を推定するという 2 段階のプロセスを使用して、特徴の照合と姿勢の推定を解決していました。 2 つのタスク間の幾何学的な関係を無視するため、一致の品質を向上させるか、潜在的な外れ値をフィルタリングすることに集中し、効率や精度が制限されます。対照的に、2 つのタスク間の幾何学的接続を活用する反復マッチングおよび姿勢推定フレームワーク (IMP) を提案します。おおよそ正確な姿勢推定には、いくつかの適切な一致で十分です。ほぼ正確なポーズを使用して、幾何学的制約を提供することでマッチングをガイドできます。この目的のために、スパース マッチとカメラ ポーズを共同で出力する、ジオメトリを意識した再帰的注意ベースのモジュールを実装します。具体的には、反復ごとに、最初に姿勢の一貫性の損失を介して幾何学的情報をモジュールに暗黙的に埋め込み、幾何学的認識の一致を段階的に予測できるようにします。次に、EIMP と呼ばれる効率的な IMP を導入して、一致する可能性のないキーポイントを動的に破棄し、冗長な更新を回避し、トランスフォーマーでのアテンション計算の二次時間の複雑さを大幅に削減します。 YFCC100m、Scannet、および Aachen Day-Night データセットでの実験は、提案された方法が精度と効率の点で以前のアプローチよりも優れていることを示しています。
Previous methods solve feature matching and pose estimation using a two-stage process by first finding matches and then estimating the pose. As they ignore the geometric relationships between the two tasks, they focus on either improving the quality of matches or filtering potential outliers, leading to limited efficiency or accuracy. In contrast, we propose an iterative matching and pose estimation framework (IMP) leveraging the geometric connections between the two tasks: a few good matches are enough for a roughly accurate pose estimation; a roughly accurate pose can be used to guide the matching by providing geometric constraints. To this end, we implement a geometry-aware recurrent attention-based module which jointly outputs sparse matches and camera poses. Specifically, for each iteration, we first implicitly embed geometric information into the module via a pose-consistency loss, allowing it to predict geometry-aware matches progressively. Second, we introduce an efficient IMP, called EIMP, to dynamically discard keypoints without potential matches, avoiding redundant updating and significantly reducing the quadratic time complexity of attention computation in transformers. Experiments on YFCC100m, Scannet, and Aachen Day-Night datasets demonstrate that the proposed method outperforms previous approaches in terms of accuracy and efficiency.