arXiv reaDer
MLOD: A multi-view 3D object detection based on robust feature fusion method
  このペーパーでは、マルチビューラベリングオブジェクト検出器(MLOD)について説明します。検出器は入力としてRGB画像とLIDAR点群を取り、2段階のオブジェクト検出フレームワークに従います。 Region Proposal Network(RPN)は、点群の鳥瞰図(BEV)投影で3D提案を生成します。 2番目の段階では、3D提案の境界ボックスを画像とBEV機能マップに投影し、対応するマップクロップを分類と境界ボックス回帰のために検出ヘッダーに送信します。他のマルチビューベースの方法とは異なり、トリミングされた画像の特徴は検出ヘッダーに直接送られず、深度情報によってマスクされて、3Dバウンディングボックスの外側の部分が除外されます。画像とBEVの機能の融合は、さまざまな視点から派生しているため、困難です。フュージョンレイヤーだけでなく、各センサーチャネルからの検出結果を提供する新しい検出ヘッダーを導入します。したがって、オブジェクト検出器は、異なるビューでラベル付けされたデータでトレーニングして、特徴抽出器の縮退を回避できます。 MLODは、KITTI 3Dオブジェクト検出ベンチマークで最先端のパフォーマンスを実現します。最も重要なことは、評価により、新しいヘッダーアーキテクチャが画像特徴抽出器の縮退を防ぐのに効果的であることを示しています。
This paper presents Multi-view Labelling Object Detector (MLOD). The detector takes an RGB image and a LIDAR point cloud as input and follows the two-stage object detection framework. A Region Proposal Network (RPN) generates 3D proposals in a Bird's Eye View (BEV) projection of the point cloud. The second stage projects the 3D proposal bounding boxes to the image and BEV feature maps and sends the corresponding map crops to a detection header for classification and bounding-box regression. Unlike other multi-view based methods, the cropped image features are not directly fed to the detection header, but masked by the depth information to filter out parts outside 3D bounding boxes. The fusion of image and BEV features is challenging, as they are derived from different perspectives. We introduce a novel detection header, which provides detection results not just from fusion layer, but also from each sensor channel. Hence the object detector can be trained on data labelled in different views to avoid the degeneration of feature extractors. MLOD achieves state-of-the-art performance on the KITTI 3D object detection benchmark. Most importantly, the evaluation shows that the new header architecture is effective in preventing image feature extractor degeneration.
updated: Mon Sep 09 2019 21:18:41 GMT+0000 (UTC)
published: Mon Sep 09 2019 21:18:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト