arXiv reaDer
クエリとしてのオブジェクト: 2D オブジェクト検出器を 3D 検出に引き上げます
Object as Query: Lifting any 2D Object Detector to 3D Detection
多視点画像からの 3D オブジェクト検出は、ここ数年で大きな注目を集めています。既存の方法は主に、多視点画像から 3D 表現を確立し、物体検出に高密度検出ヘッドを採用するか、3D 空間に分散された物体クエリを使用して物体の位置を特定します。この論文では、あらゆる 2D オブジェクト検出器をマルチビュー 3D オブジェクト検出に引き上げることができる、マルチビュー 2D オブジェクト誘導型 3D オブジェクト検出器 (MV2D) を設計します。 2D 検出はオブジェクトの存在に関する貴重な事前情報を提供できるため、MV2D は 2D 検出器を活用して、豊富な画像セマンティクスを条件としたオブジェクト クエリを生成します。これらの動的に生成されたクエリは、MV2D が視野内のオブジェクトを呼び出し、3D オブジェクトの位置を特定する強力な機能を示すのに役立ちます。生成されたクエリについては、特定のオブジェクトの特徴に強制的に焦点を当てるようにスパース クロス アテンション モジュールを設計し、ノイズによる干渉を抑制します。 nuScenes データセットの評価結果は、動的なオブジェクト クエリとスパース フィーチャの集約によって 3D 検出機能が向上できることを示しています。 MV2D は既存の手法の中でも最先端のパフォーマンスを発揮します。 MV2D が将来の研究の新しいベースラインとして機能することを願っています。
3D object detection from multi-view images has drawn much attention over the past few years. Existing methods mainly establish 3D representations from multi-view images and adopt a dense detection head for object detection, or employ object queries distributed in 3D space to localize objects. In this paper, we design Multi-View 2D Objects guided 3D Object Detector (MV2D), which can lift any 2D object detector to multi-view 3D object detection. Since 2D detections can provide valuable priors for object existence, MV2D exploits 2D detectors to generate object queries conditioned on the rich image semantics. These dynamically generated queries help MV2D to recall objects in the field of view and show a strong capability of localizing 3D objects. For the generated queries, we design a sparse cross attention module to force them to focus on the features of specific objects, which suppresses interference from noises. The evaluation results on the nuScenes dataset demonstrate the dynamic object queries and sparse feature aggregation can promote 3D detection capability. MV2D also exhibits a state-of-the-art performance among existing methods. We hope MV2D can serve as a new baseline for future research.
updated: Mon Jun 05 2023 05:40:56 GMT+0000 (UTC)
published: Fri Jan 06 2023 04:08:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト