LiDARセンサーは、単純な3Dポイントクラウド以外の幅広い測定信号を取得するために使用でき、それらの信号を利用して、3Dオブジェクト検出などの知覚タスクを改善できます。単一のレーザーパルスは、その経路に沿って複数の物体によって部分的に反射される可能性があり、エコーと呼ばれる複数の測定値が得られます。マルチエコー測定は、オブジェクトの輪郭と半透明の表面に関する情報を提供できます。これらの情報を使用して、オブジェクトをより適切に識別および特定できます。 LiDARは、表面反射率(レーザーパルスリターンの強度)や、シーンの周囲光(オブジェクトによって反射された太陽光)も測定できます。これらの信号は、市販のLiDARデバイスですでに利用可能ですが、ほとんどのLiDARベースの検出モデルでは使用されていません。 LiDARによって提供される測定信号の全スペクトルを活用する3Dオブジェクト検出モデルを提示します。まず、(1)2D CNNで抽出された反射率と周囲の特徴、および(2)3Dグラフニューラルネットワーク(GNN)を使用して抽出された点群の特徴を組み合わせるマルチシグナルフュージョン(MSF)モジュールを提案します。次に、異なるエコーポイントのセットでエンコードされた情報を組み合わせるためのマルチエコーアグリゲーション(MEA)モジュールを提案します。従来のシングルエコーポイントクラウド方式と比較して、提案されたマルチシグナルLiDAR検出器(MSLiD)は、より広範囲のセンシング測定からより豊富なコンテキスト情報を抽出し、より正確な3Dオブジェクト検出を実現します。実験によると、LiDARのマルチモダリティを組み込むことにより、私たちの方法は最先端技術を最大9.1%上回っています。
LiDAR sensors can be used to obtain a wide range of measurement signals other than a simple 3D point cloud, and those signals can be leveraged to improve perception tasks like 3D object detection. A single laser pulse can be partially reflected by multiple objects along its path, resulting in multiple measurements called echoes. Multi-echo measurement can provide information about object contours and semi-transparent surfaces which can be used to better identify and locate objects. LiDAR can also measure surface reflectance (intensity of laser pulse return), as well as ambient light of the scene (sunlight reflected by objects). These signals are already available in commercial LiDAR devices but have not been used in most LiDAR-based detection models. We present a 3D object detection model which leverages the full spectrum of measurement signals provided by LiDAR. First, we propose a multi-signal fusion (MSF) module to combine (1) the reflectance and ambient features extracted with a 2D CNN, and (2) point cloud features extracted using a 3D graph neural network (GNN). Second, we propose a multi-echo aggregation (MEA) module to combine the information encoded in different set of echo points. Compared with traditional single echo point cloud methods, our proposed Multi-Signal LiDAR Detector (MSLiD) extracts richer context information from a wider range of sensing measurements and achieves more accurate 3D object detection. Experiments show that by incorporating the multi-modality of LiDAR, our method outperforms the state-of-the-art by up to 9.1%.