車や歩行者などのオブジェクトを3Dで検出することは、自動運転に不可欠な役割を果たします。既存のアプローチは、正確な深度情報を得るために高価なLiDARセンサーに大きく依存しています。最近、擬似LiDARが有望な代替手段として導入されましたが、ステレオイメージのみに基づいたはるかに低いコストで、まだ顕著なパフォーマンスギャップがあります。このホワイトペーパーでは、ステレオ深度推定の改善により、疑似LiDARフレームワークに大幅な進歩をもたらします。具体的には、ステレオネットワークアーキテクチャと損失関数を、遠くのオブジェクトの正確な深度推定に合わせて調整します。これは現在、擬似LiDARの主な弱点です。さらに、3D検出には不十分な情報しか提供しない安価で非常にまばらなLiDARセンサーを活用して深度推定のバイアスを解除するというアイデアを探ります。深度マップ全体にこれらの少数の正確な測定値を拡散させるために、初期深度推定に基づいて深度伝播アルゴリズムを提案します。 KITTIのオブジェクト検出ベンチマークでは、組み合わせたアプローチにより、深度推定とステレオベースの3Dオブジェクト検出で大幅な改善が得られることが示されています。これは、遠方のオブジェクトの以前の最先端の検出精度を40%上回るものです。コードはhttps://github.com/mileyan/Pseudo_Lidar_V2で入手できます。
Detecting objects such as cars and pedestrians in 3D plays an indispensable role in autonomous driving. Existing approaches largely rely on expensive LiDAR sensors for accurate depth information. While recently pseudo-LiDAR has been introduced as a promising alternative, at a much lower cost based solely on stereo images, there is still a notable performance gap. In this paper we provide substantial advances to the pseudo-LiDAR framework through improvements in stereo depth estimation. Concretely, we adapt the stereo network architecture and loss function to be more aligned with accurate depth estimation of faraway objects --- currently the primary weakness of pseudo-LiDAR. Further, we explore the idea to leverage cheaper but extremely sparse LiDAR sensors, which alone provide insufficient information for 3D detection, to de-bias our depth estimation. We propose a depth-propagation algorithm, guided by the initial depth estimates, to diffuse these few exact measurements across the entire depth map. We show on the KITTI object detection benchmark that our combined approach yields substantial improvements in depth estimation and stereo-based 3D object detection --- outperforming the previous state-of-the-art detection accuracy for faraway objects by 40%. Our code is available at https://github.com/mileyan/Pseudo_Lidar_V2.