周囲のカメラによる 3D 物体検出は、自動運転の有望な方向性です。このホワイト ペーパーでは、この問題を解決するために、マルチカメラ オブジェクト検出のシンプルなベースラインである SimMOD を紹介します。マルチビュー情報を組み込むだけでなく、単眼 3D オブジェクト検出に関する以前の取り組みに基づいて構築するために、フレームワークはサンプルごとのオブジェクト提案に基づいて構築され、2 段階の方法で機能するように設計されています。まず、マルチスケールの特徴を抽出し、各単眼画像で遠近オブジェクトの提案を生成します。次に、マルチビューの提案が集約され、DETR3D スタイルのマルチビューおよびマルチスケールのビジュアル機能で繰り返し洗練されます。洗練された提案は、検出結果にエンドツーエンドでデコードされます。パフォーマンスをさらに向上させるために、提案生成とともに補助ブランチを組み込み、機能学習を強化します。また、2 段階トレーニングの一貫性を促進するために、ターゲット フィルタリングと教師強制の方法を設計します。 nuScenes の 3D オブジェクト検出ベンチマークで広範な実験を行い、SimMOD の有効性を実証し、新しい最先端のパフォーマンスを実現します。コードは https://github.com/zhangyp15/SimMOD で入手できます。
3D object detection with surrounding cameras has been a promising direction for autonomous driving. In this paper, we present SimMOD, a Simple baseline for Multi-camera Object Detection, to solve the problem. To incorporate multi-view information as well as build upon previous efforts on monocular 3D object detection, the framework is built on sample-wise object proposals and designed to work in a two-stage manner. First, we extract multi-scale features and generate the perspective object proposals on each monocular image. Second, the multi-view proposals are aggregated and then iteratively refined with multi-view and multi-scale visual features in the DETR3D-style. The refined proposals are end-to-end decoded into the detection results. To further boost the performance, we incorporate the auxiliary branches alongside the proposal generation to enhance the feature learning. Also, we design the methods of target filtering and teacher forcing to promote the consistency of two-stage training. We conduct extensive experiments on the 3D object detection benchmark of nuScenes to demonstrate the effectiveness of SimMOD and achieve new state-of-the-art performance. Code will be available at https://github.com/zhangyp15/SimMOD.