マルチカメラ3Dオブジェクト検出のフレームワークを紹介します。単眼画像から直接3Dバウンディングボックスを推定したり、深度予測ネットワークを使用して2D情報から3Dオブジェクト検出の入力を生成したりする既存の作業とは対照的に、私たちの方法は3D空間で直接予測を操作します。私たちのアーキテクチャは、複数のカメラ画像から2Dフィーチャを抽出し、3Dオブジェクトクエリのスパースセットを使用してこれらの2Dフィーチャにインデックスを付け、カメラ変換行列を使用して3D位置をマルチビュー画像にリンクします。最後に、私たちのモデルは、セット間の損失を使用して、グラウンドトゥルースと予測の間の不一致を測定し、オブジェクトクエリごとにバウンディングボックス予測を行います。このトップダウンアプローチは、オブジェクトバウンディングボックス予測がピクセルごとの深度推定に従うボトムアップアプローチよりも優れています。これは、深度予測モデルによって導入される複合エラーの影響を受けないためです。さらに、私たちの方法は、非最大抑制などの後処理を必要とせず、推論速度を劇的に改善します。 nuScenes自動運転ベンチマークで最先端のパフォーマンスを実現します。
We introduce a framework for multi-camera 3D object detection. In contrast to existing works, which estimate 3D bounding boxes directly from monocular images or use depth prediction networks to generate input for 3D object detection from 2D information, our method manipulates predictions directly in 3D space. Our architecture extracts 2D features from multiple camera images and then uses a sparse set of 3D object queries to index into these 2D features, linking 3D positions to multi-view images using camera transformation matrices. Finally, our model makes a bounding box prediction per object query, using a set-to-set loss to measure the discrepancy between the ground-truth and the prediction. This top-down approach outperforms its bottom-up counterpart in which object bounding box prediction follows per-pixel depth estimation, since it does not suffer from the compounding error introduced by a depth prediction model. Moreover, our method does not require post-processing such as non-maximum suppression, dramatically improving inference speed. We achieve state-of-the-art performance on the nuScenes autonomous driving benchmark.