arXiv reaDer
3D オブジェクト検出のための完全スパース フュージョン
Fully Sparse Fusion for 3D Object Detection
現在普及しているマルチモーダル 3D 検出方法は、通常、高密度の鳥瞰図 (BEV) 機能マップを使用する LiDAR ベースの検出器に基づいて構築されています。ただし、このようなBEV機能マップのコストは検出範囲の2次であるため、長距離検出には適していません。完全に疎なアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めています。このホワイト ペーパーでは、新しい完全にスパースなアーキテクチャで画像モダリティを効果的に活用する方法について説明します。特に、インスタンス クエリを利用して、フレームワークは十分に研究された 2D インスタンス セグメンテーションを LiDAR 側に統合します。これは、完全にスパースな検出器の 3D インスタンス セグメンテーション部分と並行しています。この設計により、完全にスパースな特性を維持しながら、2D と 3D の両方で均一なクエリベースの融合フレームワークが実現されます。広範な実験により、広く使用されている nuScenes データセットと長距離 Argoverse 2 データセットに関する最先端の結果が示されています。特に、長距離LiDAR知覚設定での提案された方法の推論速度は、他の最先端のマルチモーダル3D検出方法よりも2.7倍高速です。コードは https://github.com/BraveGroup/FullySparseFusion で公開されます。
Currently prevalent multimodal 3D detection methods are built upon LiDAR-based detectors that usually use dense Bird's-Eye-View (BEV) feature maps. However, the cost of such BEV feature maps is quadratic to the detection range, making it not suitable for long-range detection. Fully sparse architecture is gaining attention as they are highly efficient in long-range perception. In this paper, we study how to effectively leverage image modality in the emerging fully sparse architecture. Particularly, utilizing instance queries, our framework integrates the well-studied 2D instance segmentation into the LiDAR side, which is parallel to the 3D instance segmentation part in the fully sparse detector. This design achieves a uniform query-based fusion framework in both the 2D and 3D sides while maintaining the fully sparse characteristic. Extensive experiments showcase state-of-the-art results on the widely used nuScenes dataset and the long-range Argoverse 2 dataset. Notably, the inference speed of the proposed method under the long-range LiDAR perception setting is 2.7 × faster than that of other state-of-the-art multimodal 3D detection methods. Code will be released at https://github.com/BraveGroup/FullySparseFusion.
updated: Sun Apr 28 2024 05:54:15 GMT+0000 (UTC)
published: Mon Apr 24 2023 17:57:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト