2Dおよび3Dキーポイントを正確に記述および検出することは、画像と点群全体の対応を確立するために重要です。多数の学習ベースの2Dまたは3Dローカル特徴記述子および検出器が提案されているにもかかわらず、ピクセルおよびポイントに直接一致する共有記述子および共同キーポイント検出器の導出は、コミュニティによって十分に調査されていないままです。この作業は、2D画像と3D点群の間のきめ細かい対応を確立するための主導権を握っています。ピクセルとポイントを直接一致させるために、2Dおよび3D入力を共有潜在表現空間にマッピングしてキーポイントを同時に記述および検出するデュアル完全畳み込みフレームワークが提示されます。さらに、新しい損失関数と組み合わせた超ワイド受信メカニズムは、ピクセルとポイントのローカル領域間の固有の情報変動を軽減するように設計されています。広範な実験結果は、私たちのフレームワークが画像と点群の間のきめ細かいマッチングで競争力のあるパフォーマンスを示し、屋内の視覚的ローカリゼーションのタスクで最先端の結果を達成することを示しています。私たちのソースコードは[no-name-for-blind-review]で入手できます。
Accurately describing and detecting 2D and 3D keypoints is crucial to establishing correspondences across images and point clouds. Despite a plethora of learning-based 2D or 3D local feature descriptors and detectors having been proposed, the derivation of a shared descriptor and joint keypoint detector that directly matches pixels and points remains under-explored by the community. This work takes the initiative to establish fine-grained correspondences between 2D images and 3D point clouds. In order to directly match pixels and points, a dual fully convolutional framework is presented that maps 2D and 3D inputs into a shared latent representation space to simultaneously describe and detect keypoints. Furthermore, an ultra-wide reception mechanism in combination with a novel loss function are designed to mitigate the intrinsic information variations between pixel and point local regions. Extensive experimental results demonstrate that our framework shows competitive performance in fine-grained matching between images and point clouds and achieves state-of-the-art results for the task of indoor visual localization. Our source code will be available at [no-name-for-blind-review].