arXiv reaDer
Lidarポイントクラウドガイド付き単眼3Dオブジェクト検出
Lidar Point Cloud Guided Monocular 3D Object Detection
単眼3Dオブジェクト検出は、車が1台のカメラで3Dで世界を認識できるようにするため、コミュニティからますます注目を集めています。ただし、単眼3D検出は現在、LiDARベースの方法と比較して非常に低い検出率で苦労しており、そのアプリケーションが制限されています。精度の低さは、主に、単眼画像の不適切な性質のために正確な深度キューがないことが原因です。正確な深度測定を提供するLiDARポイントクラウドは、単眼法のトレーニングに有益な情報を提供できます。以前の作品では、LiDARポイントクラウドのみを使用して深度推定量をトレーニングしていました。この暗黙の方法では、LiDARポイントクラウドを十分に活用していないため、パフォーマンスが最適化されません。 LiDAR点群を効果的に利用するために、この論文では、単眼法のための一般的でシンプルでありながら効果的なフレームワークを提案します。具体的には、LiDARポイントクラウドを使用して、単眼3D検出器のトレーニングを直接ガイドし、追加の注釈コストを排除しながら、目的の目的を学習できるようにします。一般的な設計のおかげで、私たちの方法は任意の単眼3D検出方法にプラグインでき、パフォーマンスを大幅に向上させます。結論として、KITTI単眼3D検出ベンチマークで最初に位置付け、以前の最先端の方法のハード設定でBEV / 3DAPを11.88 / 8.65から22.06 / 16.80に増やします。コードはまもなく公開されます。
Monocular 3D object detection is drawing increasing attention from the community as it enables cars to perceive the world in 3D with a single camera. However, monocular 3D detection currently struggles with extremely lower detection rates compared to LiDAR-based methods, limiting its applications. The poor accuracy is mainly caused by the absence of accurate depth cues due to the ill-posed nature of monocular imagery. LiDAR point clouds, which provide accurate depth measurement, can offer beneficial information for the training of monocular methods. Prior works only use LiDAR point clouds to train a depth estimator. This implicit way does not fully utilize LiDAR point clouds, consequently leading to suboptimal performances. To effectively take advantage of LiDAR point clouds, in this paper we propose a general, simple yet effective framework for monocular methods. Specifically, we use LiDAR point clouds to directly guide the training of monocular 3D detectors, allowing them to learn desired objectives meanwhile eliminating the extra annotation cost. Thanks to the general design, our method can be plugged into any monocular 3D detection method, significantly boosting the performance. In conclusion, we take the first place on KITTI monocular 3D detection benchmark and increase the BEV/3D AP from 11.88/8.65 to 22.06/16.80 on the hard setting for the prior state-of-the-art method. The code will be made publicly available soon.
updated: Mon Apr 19 2021 03:41:09 GMT+0000 (UTC)
published: Mon Apr 19 2021 03:41:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト