点群での 3D オブジェクト検出は、最新のロボティクスおよび自動運転システムのコア コンポーネントです。 3D オブジェクト検出の主な課題は、3D シーン内のポイント占有率の固有のまばらな性質に由来します。この論文では、スパース ウィンドウ トランスフォーマー (SWFormer ) を提案します。これは、3D オブジェクト検出用のスケーラブルで正確なモデルであり、点群のスパース性を最大限に活用できます。ウィンドウベースのトランスフォーマーのアイデアに基づいて構築された SWFormer は、3D ポイントをスパース ボクセルとウィンドウに変換し、バケット スキームを使用してこれらの可変長のスパース ウィンドウを効率的に処理します。各空間ウィンドウ内でのセルフアテンションに加えて、SWFormer は、マルチスケール機能融合およびウィンドウ シフト操作によるウィンドウ間の相関関係もキャプチャします。まばらな特徴から 3D オブジェクトを正確に検出するという独自の課題にさらに対処するために、新しいボクセル拡散手法を提案します。 Waymo Open Dataset での実験結果は、当社の SWFormer が車両と歩行者で最新の 73.36 L2 mAPH を達成し、公式テスト セットでの 3D オブジェクト検出を達成し、以前のすべてのシングル ステージおよび 2 ステージ モデルをはるかに上回っていることを示しています。もっと効率的。
3D object detection in point clouds is a core component for modern robotics and autonomous driving systems. A key challenge in 3D object detection comes from the inherent sparse nature of point occupancy within the 3D scene. In this paper, we propose Sparse Window Transformer (SWFormer ), a scalable and accurate model for 3D object detection, which can take full advantage of the sparsity of point clouds. Built upon the idea of window-based Transformers, SWFormer converts 3D points into sparse voxels and windows, and then processes these variable-length sparse windows efficiently using a bucketing scheme. In addition to self-attention within each spatial window, our SWFormer also captures cross-window correlation with multi-scale feature fusion and window shifting operations. To further address the unique challenge of detecting 3D objects accurately from sparse features, we propose a new voxel diffusion technique. Experimental results on the Waymo Open Dataset show our SWFormer achieves state-of-the-art 73.36 L2 mAPH on vehicle and pedestrian for 3D object detection on the official test set, outperforming all previous single-stage and two-stage models, while being much more efficient.