最近の Transformer ベースの 3D オブジェクト検出器は、ポイントベースまたはボクセルベースの表現から点群の特徴を学習します。ただし、前者では時間のかかるサンプリングが必要となり、後者では量子化誤差が生じます。この論文では、これら 2 つの表現を利用する、単一段階 3D 検出用の新しい Point-Voxel Transformer (PVT-SSD) を紹介します。具体的には、まず、効率的な特徴エンコードのためにボクセルベースのスパース畳み込みを使用します。次に、点から正確な位置を取得しながら、安価な方法でボクセルから長距離コンテキストを取得する Point-Voxel Transformer (PVT) モジュールを提案します。 2 つの異なる表現を関連付ける鍵となるのは、参照ポイントとコンテンツ クエリを効率的に生成できる、導入された入力依存のクエリ初期化モジュールです。次に、PVT は、長距離のコンテキスト情報と参照点周囲のローカルな幾何学的情報をコンテンツ クエリに適応的に融合します。さらに、基準点の隣接点を迅速に見つけるために、ネイティブ距離画像をマルチセンサーおよびマルチフレームに一般化する仮想距離画像モジュールを設計します。いくつかの自動運転ベンチマークの実験により、提案された方法の有効性と効率性が検証されます。コードは https://github.com/Nightmare-n/PVT-SSD で入手できます。
Recent Transformer-based 3D object detectors learn point cloud features either from point- or voxel-based representations. However, the former requires time-consuming sampling while the latter introduces quantization errors. In this paper, we present a novel Point-Voxel Transformer for single-stage 3D detection (PVT-SSD) that takes advantage of these two representations. Specifically, we first use voxel-based sparse convolutions for efficient feature encoding. Then, we propose a Point-Voxel Transformer (PVT) module that obtains long-range contexts in a cheap manner from voxels while attaining accurate positions from points. The key to associating the two different representations is our introduced input-dependent Query Initialization module, which could efficiently generate reference points and content queries. Then, PVT adaptively fuses long-range contextual and local geometric information around reference points into content queries. Further, to quickly find the neighboring points of reference points, we design the Virtual Range Image module, which generalizes the native range image to multi-sensor and multi-frame. The experiments on several autonomous driving benchmarks verify the effectiveness and efficiency of the proposed method. Code will be available at https://github.com/Nightmare-n/PVT-SSD.