arXiv reaDer
HDD-Net:相互対話型学習を備えたハイブリッド検出器記述子
HDD-Net: Hybrid Detector Descriptor with Mutual Interactive Learning
 SLAM、3D再構成、ARアプリケーションなどの分野の進歩により、局所特徴抽出は依然として活発な研究分野です。これらのアプリケーションでの成功は、特徴検出器と記述子のパフォーマンスに依存しています。ほとんどのメソッドの検出器と記述子の相互作用は、単一のネットワーク検出と記述子の統合に基づいていますが、両方の抽出を個別に扱い、パラメータの共有ではなく学習プロセスでの相互作用に焦点を当てる方法を提案します。記述子マップに基づいて候補位置を絞り込むための新しい検出器最適化項として、古典的なハードマイニングのトリプレット損失を定式化します。マルチスケールのアプローチと、手作りの機能と学習した機能のハイブリッドの組み合わせを使用して、設計により回転とスケールのロバスト性を取得する高密度記述子を提案します。私たちはさまざまなベンチマークで広範囲にこのメソッドを評価し、カメラローカリゼーションタスクと同等のレベルを維持しながら、HPatchesでの画像マッチングと3D再構成品質の面で最先端の改善を示しています。
Local feature extraction remains an active research area due to the advances in fields such as SLAM, 3D reconstructions, or AR applications. The success in these applications relies on the performance of the feature detector and descriptor. While the detector-descriptor interaction of most methods is based on unifying in single network detections and descriptors, we propose a method that treats both extractions independently and focuses on their interaction in the learning process rather than by parameter sharing. We formulate the classical hard-mining triplet loss as a new detector optimisation term to refine candidate positions based on the descriptor map. We propose a dense descriptor that uses a multi-scale approach and a hybrid combination of hand-crafted and learned features to obtain rotation and scale robustness by design. We evaluate our method extensively on different benchmarks and show improvements over the state of the art in terms of image matching on HPatches and 3D reconstruction quality while keeping on par on camera localisation tasks.
updated: Thu Nov 26 2020 09:14:34 GMT+0000 (UTC)
published: Tue May 12 2020 13:55:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト