この論文では、MatrixVT と呼ばれる、効率的なマルチカメラから鳥瞰図 (BEV) ビューへの 3D 認識のための変換方法を提案します。既存のビュー トランスフォーマーは、変換効率が低いか、デバイス固有の演算子に依存しており、BEV モデルの広範な適用を妨げています。対照的に、私たちの方法は、畳み込みと行列乗算 (MatMul) のみで BEV 機能を効率的に生成します。具体的には、BEV 機能を画像機能の MatMul および疎な機能輸送行列 (FTM) として記述することを提案します。次に、画像特徴の次元を圧縮し、FTM のスパース性を減らすために、プライム抽出モジュールが導入されます。さらに、FTM を 2 つの行列に置き換え、計算をさらに削減するためにパイプラインを再定式化する Ring \& Ray Decomposition を提案します。既存の方法と比較して、MatrixVT は展開しやすいままでありながら、より高速でメモリ フットプリントが少ないという利点があります。 nuScenes ベンチマークでの広範な実験は、私たちの方法が非常に効率的であるが、オブジェクト検出およびマップ セグメンテーション タスクで SOTA メソッドと同等の結果が得られることを示しています。
This paper proposes an efficient multi-camera to Bird's-Eye-View (BEV) view transformation method for 3D perception, dubbed MatrixVT. Existing view transformers either suffer from poor transformation efficiency or rely on device-specific operators, hindering the broad application of BEV models. In contrast, our method generates BEV features efficiently with only convolutions and matrix multiplications (MatMul). Specifically, we propose describing the BEV feature as the MatMul of image feature and a sparse Feature Transporting Matrix (FTM). A Prime Extraction module is then introduced to compress the dimension of image features and reduce FTM's sparsity. Moreover, we propose the Ring \& Ray Decomposition to replace the FTM with two matrices and reformulate our pipeline to reduce calculation further. Compared to existing methods, MatrixVT enjoys a faster speed and less memory footprint while remaining deploy-friendly. Extensive experiments on the nuScenes benchmark demonstrate that our method is highly efficient but obtains results on par with the SOTA method in object detection and map segmentation tasks