キーポイント検出は、多くのコンピューター ビジョンおよびロボティクス アプリケーションの基礎として機能します。色付きの点群を簡単に取得できるという事実にもかかわらず、ほとんどの既存のキーポイント検出器はジオメトリの顕著なキーポイントのみを抽出するため、色情報を活用しようとする (または活用する可能性がある) システムの全体的なパフォーマンスを妨げる可能性があります。このようなシステムの進歩を促進するために、色付きの点群でジオメトリの顕著なキーポイントと色の顕著なキーポイントの両方を抽出できる効率的なマルチモーダル キーポイント検出器を提案します。提案された CEntroid Distance (CED) キーポイント検出器は、3D 空間と色空間の両方で使用できる直感的で効果的な顕著性尺度である重心距離と、顕著性の高いキーポイントを選択できるマルチモーダル非最大抑制アルゴリズムで構成されています。 2 つ以上のモダリティで。提案された顕著性測定は、ローカル近傍のポイントの分布を直接活用し、通常の推定や固有値分解を必要としません。提案された方法を、合成データセットと実世界データセットの両方で最先端のキーポイント検出器に対して再現性と計算効率 (つまり実行時間) の観点から評価します。結果は、提案された CED キーポイント検出器は、高い再現性を達成しながら最小限の計算時間を必要とすることを示しています。提案された方法の潜在的なアプリケーションの1つを紹介するために、色付きの点群登録のタスクをさらに調査します。結果は、提案されたCED検出器が、評価されたシーンで最先端の手作りおよび学習ベースのキーポイント検出器よりも優れていることを示唆しています。提案された方法の C++ 実装は、https://github.com/UCR-Robotics/CED_Detector で公開されています。
Keypoint detection serves as the basis for many computer vision and robotics applications. Despite the fact that colored point clouds can be readily obtained, most existing keypoint detectors extract only geometry-salient keypoints, which can impede the overall performance of systems that intend to (or have the potential to) leverage color information. To promote advances in such systems, we propose an efficient multi-modal keypoint detector that can extract both geometry-salient and color-salient keypoints in colored point clouds. The proposed CEntroid Distance (CED) keypoint detector comprises an intuitive and effective saliency measure, the centroid distance, that can be used in both 3D space and color space, and a multi-modal non-maximum suppression algorithm that can select keypoints with high saliency in two or more modalities. The proposed saliency measure leverages directly the distribution of points in a local neighborhood and does not require normal estimation or eigenvalue decomposition. We evaluate the proposed method in terms of repeatability and computational efficiency (i.e. running time) against state-of-the-art keypoint detectors on both synthetic and real-world datasets. Results demonstrate that our proposed CED keypoint detector requires minimal computational time while attaining high repeatability. To showcase one of the potential applications of the proposed method, we further investigate the task of colored point cloud registration. Results suggest that our proposed CED detector outperforms state-of-the-art handcrafted and learning-based keypoint detectors in the evaluated scenes. The C++ implementation of the proposed method is made publicly available at https://github.com/UCR-Robotics/CED_Detector.