2つの画像間で対応する特徴を一致させることは、物体認識、ロボット工学、3D再構成における多数のアプリケーションを備えたコンピュータービジョンの基本的なタスクです。画像特徴マッチングの最新技術は、静的なシーンで単一の一貫性を確立することに焦点を合わせています。対照的に、動的なシーンで複数の一貫性を見つけることは、十分に研究されていません。このペーパーでは、堅牢なマルチコンシステンシー対応のための「ゲーム理論マッチングによる反復クラスタリング」(ic-GTM)という名前のエンドツーエンド最適化フレームワークを提示します。重要な考え方は、画像のペアの一般化されたクラスタリング問題としてマルチコンシステンシーマッチングを定式化することです。私たちの定式化では、いくつかのローカルマッチングゲームが、幾何学的および記述的互換性の両方で構成される新しいペイオフ関数のガイダンスの下で、異なる対応するブロックペアで同時に実行されます。グローバルマッチングの結果は、ペイオフマトリックスに関してクラスタリングとしきい値処理を行うことにより、さらに洗練されます。また、マルチコンシステンシー画像特徴マッチングのパフォーマンスを評価するための3つの新しいメトリックを提案します。広範な実験結果により、提案されたフレームワークは、単一一貫性データセットと多重一貫性データセットの両方で、以前の最先端のアプローチよりも大幅に優れていることが示されています。
Matching corresponding features between two images is a fundamental task to computer vision with numerous applications in object recognition, robotics, and 3D reconstruction. Current state of the art in image feature matching has focused on establishing a single consistency in static scenes; by contrast, finding multiple consistencies in dynamic scenes has been under-researched. In this paper, we present an end-to-end optimization framework named "iterative clustering with Game-Theoretic Matching" (ic-GTM) for robust multi-consistency correspondence. The key idea is to formulate multi-consistency matching as a generalized clustering problem for an image pair. In our formulation, several local matching games are simultaneously carried out in different corresponding block pairs under the guidance of a novel payoff function consisting of both geometric and descriptive compatibility; the global matching results are further iteratively refined by clustering and thresholding with respect to a payoff matrix. We also propose three new metrics for evaluating the performance of multi-consistency image feature matching. Extensive experimental results have shown that the proposed framework significantly outperforms previous state-of-the-art approaches on both singleconsistency and multi-consistency datasets.