arXiv reaDer
PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module
 LIDARポイントクラウドとRGB画像は、どちらも3Dオブジェクト検出に非常に重要です。最先端の3D検出アルゴリズムの多くは、これら2種類のデータを効果的に融合することに専念しています。ただし、Birds Eye View(BEV)またはボクセル形式に基づく融合方法は正確ではありません。この論文では、ポイントベースの注意深いCont-conv Fusion(PACF)モジュールという名前の新しい融合アプローチを提案します。これは、3Dポイントでマルチセンサー機能を直接融合します。連続的な畳み込みを除き、ポイントプーリングと注意深い集約を追加して、融合された機能をより表現力豊かにします。さらに、PACFモジュールに基づいて、Pointcloud-Image RCNN(略してPI-RCNN)と呼ばれる3Dマルチセンサーマルチタスクネットワークを提案します。これは、画像セグメンテーションと3Dオブジェクト検出タスクを処理します。 PI-RCNNはセグメンテーションサブネットワークを使用して、画像からフル解像度のセマンティックフィーチャマップを抽出し、強力なPACFモジュールを介してマルチセンサーフィーチャを融合します。 PI-RCNNは、PACFモジュールの有効性とセグメンテーションモジュールの表現力豊かなセマンティック機能を活用して、3Dオブジェクト検出を大幅に改善できます。 KITTI 3D DetectionベンチマークでPACFモジュールとPI-RCNNの有効性を実証し、3D APのメトリックで最先端の手法を実現できます。
LIDAR point clouds and RGB-images are both extremely essential for 3D object detection. So many state-of-the-art 3D detection algorithms dedicate in fusing these two types of data effectively. However, their fusion methods based on Birds Eye View (BEV) or voxel format are not accurate. In this paper, we propose a novel fusion approach named Point-based Attentive Cont-conv Fusion(PACF) module, which fuses multi-sensor features directly on 3D points. Except for continuous convolution, we additionally add a Point-Pooling and an Attentive Aggregation to make the fused features more expressive. Moreover, based on the PACF module, we propose a 3D multi-sensor multi-task network called Pointcloud-Image RCNN(PI-RCNN as brief), which handles the image segmentation and 3D object detection tasks. PI-RCNN employs a segmentation sub-network to extract full-resolution semantic feature maps from images and then fuses the multi-sensor features via powerful PACF module. Beneficial from the effectiveness of the PACF module and the expressive semantic features from the segmentation module, PI-RCNN can improve much in 3D object detection. We demonstrate the effectiveness of the PACF module and PI-RCNN on the KITTI 3D Detection benchmark, and our method can achieve state-of-the-art on the metric of 3D AP.
updated: Mon Dec 02 2019 02:34:42 GMT+0000 (UTC)
published: Thu Nov 14 2019 13:19:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト