未加工の点群と疎な点群からの3Dオブジェクトの検出は、2Dの対応するものと比較して、これまでずっと扱われていません。本論文では、3D正面図提案の生成と点群からのオブジェクト検出のために、FVNetと呼ばれる新しいフレームワークを提案します。これは、2つの段階で構成されています:正面提案の生成と3Dバウンディングボックスパラメーターの推定。カメラ画像または鳥瞰図マップから提案を生成する代わりに、最初にポイントクラウドを円筒面に投影して、豊富な情報を保持する正面ビューフィーチャマップを生成します。次に、生成されたマップから3D領域の提案を予測する提案生成ネットワークを導入し、さらにポイントクラウド全体から目的のオブジェクトを押し出します。最後に、押し出されたオブジェクトポイントからポイントワイズフィーチャを抽出し、正準座標の最終3Dバウンディングボックスパラメーターを回帰する別のネットワークを提示します。このフレームワークは、ポイントクラウドサンプルあたり12ミリ秒のリアルタイムパフォーマンスを実現します。 3D検出ベンチマークKITTIに関する広範な実験により、提案されたアーキテクチャは、精度と推論時間の観点から、入力としてカメラ画像または点群のいずれかを使用する最先端の技術よりも優れていることが示されています。
3D object detection from raw and sparse point clouds has been far less treated to date, compared with its 2D counterpart. In this paper, we propose a novel framework called FVNet for 3D front-view proposal generation and object detection from point clouds. It consists of two stages: generation of front-view proposals and estimation of 3D bounding box parameters. Instead of generating proposals from camera images or bird's-eye-view maps, we first project point clouds onto a cylindrical surface to generate front-view feature maps which retains rich information. We then introduce a proposal generation network to predict 3D region proposals from the generated maps and further extrude objects of interest from the whole point cloud. Finally, we present another network to extract the point-wise features from the extruded object points and regress the final 3D bounding box parameters in the canonical coordinates. Our framework achieves real-time performance with 12ms per point cloud sample. Extensive experiments on the 3D detection benchmark KITTI show that the proposed architecture outperforms state-of-the-art techniques which take either camera images or point clouds as input, in terms of accuracy and inference time.