arXiv reaDer
EA-BEV: 3D オブジェクト検出用のエッジ認識鳥瞰図プロジェクター
EA-BEV: Edge-aware Bird' s-Eye-View Projector for 3D Object Detection
近年、Lift-Splat-Shot ベース (LSS ベース) の 3D オブジェクト検出方法が大幅に進歩しました。この方法では、2D カメラ ビューと 3D ライダー ビューの特徴を、特徴を得るために鳥瞰図 (BEV) に変換します。融合。しかし、不正確な深度推定 (「深度ジャンプ」問題など) は、LSS ベースの方法を開発する際の障害です。 「深度ジャンプ」の問題を軽減するために、エッジ認識鳥瞰図 (EA-BEV) プロジェクターを提案しました。提案されたエッジ認識深度融合モジュールと深度推定モジュールを結合することにより、提案された EA-BEV プロジェクターは問題を解決し、深度に関する洗練された監視を実施します。さらに、グローバル深度とローカル限界深度情報の学習を制限するために、スパース深度監視と勾配エッジ深度監視を提案します。当社の EA-BEV プロジェクターは、あらゆる LSS ベースの 3D オブジェクト検出モデル用のプラグ アンド プレイ モジュールであり、ベースライン パフォーマンスを効果的に向上させます。 nuScenes ベンチマークで効果を実証しています。 nuScenes 3D オブジェクト検出検証データセットでは、提案された EA-BEV プロジェクターは、nuScenes 3D オブジェクト検出ベンチマークと nuScenes BEV マップ セグメンテーション ベンチマークで最先端の LLS ベースのベースラインを、ごくわずかな推論時間の増分でブーストできます。
In recent years, great progress has been made in the Lift-Splat-Shot-based (LSS-based) 3D object detection method, which converts features of 2D camera view and 3D lidar view to Bird's-Eye-View (BEV) for feature fusion. However, inaccurate depth estimation (e.g. the 'depth jump' problem) is an obstacle to develop LSS-based methods. To alleviate the 'depth jump' problem, we proposed Edge-Aware Bird's-Eye-View (EA-BEV) projector. By coupling proposed edge-aware depth fusion module and depth estimate module, the proposed EA-BEV projector solves the problem and enforces refined supervision on depth. Besides, we propose sparse depth supervision and gradient edge depth supervision, for constraining learning on global depth and local marginal depth information. Our EA-BEV projector is a plug-and-play module for any LSS-based 3D object detection models, and effectively improves the baseline performance. We demonstrate the effectiveness on the nuScenes benchmark. On the nuScenes 3D object detection validation dataset, our proposed EA-BEV projector can boost several state-of-the-art LLS-based baselines on nuScenes 3D object detection benchmark and nuScenes BEV map segmentation benchmark with negligible increment of inference time.
updated: Fri Mar 31 2023 08:56:29 GMT+0000 (UTC)
published: Fri Mar 31 2023 08:56:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト