この論文では、多視点 3D オブジェクト検出のための StreamPETR という名前の長いシーケンス モデリング フレームワークを提案します。 PETR シリーズのスパース クエリ設計に基づいて、オブジェクト中心の時間メカニズムを体系的に開発します。モデルはオンラインで実行され、長期履歴情報はオブジェクト クエリを通じてフレームごとに伝播されます。さらに、オブジェクトの動きをモデル化するために動きを意識したレイヤー正規化を導入します。 StreamPETR は、単一フレームのベースラインと比較して、ごくわずかな計算コストのみで大幅なパフォーマンスの向上を実現します。標準の nuScenes ベンチマークでは、これは LIDAR ベースの手法と同等のパフォーマンス (67.6% NDS および 65.3% AMOTA) を達成する最初のオンライン マルチビュー手法です。軽量バージョンは 45.0% の mAP と 31.7 FPS を実現し、最先端の手法 (SOLOFusion) よりも 2.3% の mAP と 1.8 倍高速な FPS を上回ります。コードは https://github.com/exiawsh/StreamPETR.git で入手できます。
In this paper, we propose a long-sequence modeling framework, named StreamPETR, for multi-view 3D object detection. Built upon the sparse query design in the PETR series, we systematically develop an object-centric temporal mechanism. The model is performed in an online manner and the long-term historical information is propagated through object queries frame by frame. Besides, we introduce a motion-aware layer normalization to model the movement of the objects. StreamPETR achieves significant performance improvements only with negligible computation cost, compared to the single-frame baseline. On the standard nuScenes benchmark, it is the first online multi-view method that achieves comparable performance (67.6% NDS & 65.3% AMOTA) with lidar-based methods. The lightweight version realizes 45.0% mAP and 31.7 FPS, outperforming the state-of-the-art method (SOLOFusion) by 2.3% mAP and 1.8x faster FPS. Code has been available at https://github.com/exiawsh/StreamPETR.git.