arXiv reaDer
SPG:セマンティックポイント生成による3Dオブジェクト検出のための教師なしドメイン適応
SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
自動運転では、LiDARベースのオブジェクト検出器は、さまざまな地理的位置でさまざまな気象条件の下で確実に機能する必要があります。最近の3D検出研究は、単一ドメイン内のパフォーマンスの向上に焦点を当てていますが、私たちの研究では、最新の検出器のパフォーマンスがドメイン間で大幅に低下する可能性があることが明らかになっています。この論文では、LiDARベースの3Dオブジェクト検出のための教師なしドメイン適応(UDA)を調査します。 Waymo Domain Adaptationデータセットで、パフォーマンス低下の根本的な原因として点群の品質の低下を特定します。この問題に対処するために、ドメインシフトに対するLiDAR検出器の信頼性を高めるための一般的なアプローチであるセマンティックポイント生成(SPG)を紹介します。具体的には、SPGは、予測された前景領域でセマンティックポイントを生成し、オクルージョン、低反射率、気象干渉などの現象によって引き起こされる前景オブジェクトの欠落部分を忠実に回復します。セマンティックポイントを元のポイントとマージすることにより、拡張ポイントクラウドを取得します。これは、最新のLiDARベースの検出器で直接使用できます。 SPGの幅広い適用性を検証するために、2つの代表的な検出器であるPointPillarsとPV-RCNNを実験します。 UDAタスクでは、SPGは、関心のあるすべてのオブジェクトカテゴリにわたって、すべての難易度レベルで両方の検出器を大幅に改善します。 SPGは、元のドメインでのオブジェクト検出にも役立ちます。 Waymo Open DatasetとKITTIでは、SPGは、すべてのカテゴリにわたってこれら2つの方法の3D検出結果を改善します。 SPGはPV-RCNNと組み合わせることで、KITTIで最先端の3D検出結果を実現します。
In autonomous driving, a LiDAR-based object detector should perform reliably at different geographic locations and under various weather conditions. While recent 3D detection research focuses on improving performance within a single domain, our study reveals that the performance of modern detectors can drop drastically cross-domain. In this paper, we investigate unsupervised domain adaptation (UDA) for LiDAR-based 3D object detection. On the Waymo Domain Adaptation dataset, we identify the deteriorating point cloud quality as the root cause of the performance drop. To address this issue, we present Semantic Point Generation (SPG), a general approach to enhance the reliability of LiDAR detectors against domain shifts. Specifically, SPG generates semantic points at the predicted foreground regions and faithfully recovers missing parts of the foreground objects, which are caused by phenomena such as occlusions, low reflectance or weather interference. By merging the semantic points with the original points, we obtain an augmented point cloud, which can be directly consumed by modern LiDAR-based detectors. To validate the wide applicability of SPG, we experiment with two representative detectors, PointPillars and PV-RCNN. On the UDA task, SPG significantly improves both detectors across all object categories of interest and at all difficulty levels. SPG can also benefit object detection in the original domain. On the Waymo Open Dataset and KITTI, SPG improves 3D detection results of these two methods across all categories. Combined with PV-RCNN, SPG achieves state-of-the-art 3D detection results on KITTI.
updated: Sun Aug 15 2021 10:00:39 GMT+0000 (UTC)
published: Sun Aug 15 2021 10:00:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト