画像マッチングの特徴点に加えて、線の特徴は、ロボット工学およびコンピュータービジョン(CV)の視覚的な幾何学的問題を解決するための追加の制約を提供します。最近の畳み込みニューラルネットワーク(CNN)ベースのライン記述子は、視点の変更や動的環境に有望ですが、CNNアーキテクチャには、可変ライン長を固定次元記述子に抽象化するという本質的な欠点があると主張しています。この論文では、可変ラインを扱うライントランスフォーマーを効果的に紹介します。ニューラルネットで文をうまく理解して抽象化できる自然言語処理(NLP)タスクに触発されて、線分を点(単語)を含む文と見なします。動的にライン上の適切に記述可能なポイントに注意を払うことにより、記述子は可変ライン長で優れたパフォーマンスを発揮します。また、ラインの幾何学的属性を近隣に共有するライン署名ネットワークを提案します。ネットワークはグループ記述子として機能し、ラインの相対的な形状を理解することによってライン記述子を強化します。最後に、提案されたライン記述子とマッチングをポイントアンドラインローカリゼーション(PL-Loc)で提示します。ラインフィーチャを使用して、フィーチャポイントを使用した視覚的なローカリゼーションを改善できることを示します。ホモグラフィ推定と視覚的位置特定のために提案された方法を検証します。
Along with feature points for image matching, line features provide additional constraints to solve visual geometric problems in robotics and computer vision (CV). Although recent convolutional neural network (CNN)-based line descriptors are promising for viewpoint changes or dynamic environments, we claim that the CNN architecture has innate disadvantages to abstract variable line length into the fixed-dimensional descriptor. In this paper, we effectively introduce Line-Transformers dealing with variable lines. Inspired by natural language processing (NLP) tasks where sentences can be understood and abstracted well in neural nets, we view a line segment as a sentence that contains points (words). By attending to well-describable points on aline dynamically, our descriptor performs excellently on variable line length. We also propose line signature networks sharing the line's geometric attributes to neighborhoods. Performing as group descriptors, the networks enhance line descriptors by understanding lines' relative geometries. Finally, we present the proposed line descriptor and matching in a Point and Line Localization (PL-Loc). We show that the visual localization with feature points can be improved using our line features. We validate the proposed method for homography estimation and visual localization.