スパース ローカル特徴抽出は、通常、ローカリゼーションとマッピングの同時実行、画像マッチング、3D 再構成などの典型的なビジョン タスクにおいて重要であると考えられています。現時点では、主に抽出されたローカル記述子の識別力、検出されたキーポイントのローカリゼーション精度、ローカル特徴学習の効率など、さらに改善が必要ないくつかの欠陥がまだあります。このホワイト ペーパーでは、現在普及している、カメラ ポーズの監視によるスパース ローカル特徴学習の促進に焦点を当てています。したがって、弱教師付き局所特徴 (SCFeat) 学習のための 4 つの軽量でありながら効果的な改善を備えた共有結合ブリッジ スキームを適切に提案します。主に、i) ローカル記述子学習用の Feature-Fusion-ResUNet バックボーン (F2R-Backbone)、ii) 記述ネットワークと検出ネットワークのデカップリング トレーニングを改善するための共有カップリング ブリッジ正規化、iii) 改良された検出ネットワークキーポイントを検出するためのピーキー測定、および iv) 機能検出トレーニングをさらに最適化するための報酬要因としての基本的なマトリックス エラー。広範な実験により、SCFeat の改善が効果的であることが証明されています。多くの場合、従来の画像マッチングとビジュアル ローカリゼーションで最先端のパフォーマンスを得ることができました。 3D 再構成に関しては、依然として競争力のある結果を達成できます。共有とコミュニケーションのために、ソース コードは https://github.com/sunjiayuanro/SCFeat.git で入手できます。
Sparse local feature extraction is usually believed to be of important significance in typical vision tasks such as simultaneous localization and mapping, image matching and 3D reconstruction. At present, it still has some deficiencies needing further improvement, mainly including the discrimination power of extracted local descriptors, the localization accuracy of detected keypoints, and the efficiency of local feature learning. This paper focuses on promoting the currently popular sparse local feature learning with camera pose supervision. Therefore, it pertinently proposes a Shared Coupling-bridge scheme with four light-weight yet effective improvements for weakly-supervised local feature (SCFeat) learning. It mainly contains: i) the Feature-Fusion-ResUNet Backbone (F2R-Backbone) for local descriptors learning, ii) a shared coupling-bridge normalization to improve the decoupling training of description network and detection network, iii) an improved detection network with peakiness measurement to detect keypoints and iv) the fundamental matrix error as a reward factor to further optimize feature detection training. Extensive experiments prove that our SCFeat improvement is effective. It could often obtain a state-of-the-art performance on classic image matching and visual localization. In terms of 3D reconstruction, it could still achieve competitive results. For sharing and communication, our source codes are available at https://github.com/sunjiayuanro/SCFeat.git.