線分は、点を補完する強力な機能です。それらは構造的な手がかりを提供し、劇的な視点と照明の変化に対して堅牢であり、テクスチャのない領域でも存在する可能性があります。ただし、それらを記述して一致させることは、部分的なオクルージョン、テクスチャの欠如、または反復性のために、ポイントに比べてより困難です。この論文では、点、線、およびそれらの記述子が単一のワイヤフレーム構造に統合される新しいマッチング パラダイムを紹介します。 GlueStick は、異なる画像から 2 つのワイヤーフレームを取得し、ノード間の接続情報を活用してそれらをより適切に接着するディープ マッチング グラフ ニューラル ネットワーク (GNN) です。ジョイント マッチングによる効率の向上に加えて、単一のアーキテクチャでこれら 2 つの機能の補完的な性質を活用すると、パフォーマンスが大幅に向上することも実証されています。私たちのマッチング戦略は、さまざまなデータセットやタスクの線分と点を個別にマッチングする最先端のアプローチよりも優れていることを示しています。コードは https://github.com/cvg/GlueStick で入手できます。
Line segments are powerful features complementary to points. They offer structural cues, robust to drastic viewpoint and illumination changes, and can be present even in texture-less areas. However, describing and matching them is more challenging compared to points due to partial occlusions, lack of texture, or repetitiveness. This paper introduces a new matching paradigm, where points, lines, and their descriptors are unified into a single wireframe structure. We propose GlueStick, a deep matching Graph Neural Network (GNN) that takes two wireframes from different images and leverages the connectivity information between nodes to better glue them together. In addition to the increased efficiency brought by the joint matching, we also demonstrate a large boost of performance when leveraging the complementary nature of these two features in a single architecture. We show that our matching strategy outperforms the state-of-the-art approaches independently matching line segments and points for a wide variety of datasets and tasks. The code is available at https://github.com/cvg/GlueStick.