物体検出は、近年、自律システムで広く利用されており、2D と 3D の両方の物体検出が含まれています。この分野の最近の研究は、主にこの問題に対処するためのマルチモーダル アプローチに集中しています。この方法は、単一のモダリティ ソースから生成された結果の特徴を利用し、それらを下流のタスクに融合します。結果機能に基づくマルチモーダル検出器 (MMDR) と呼ばれる提案されたアプローチは、2D と 3D の両方のオブジェクト検出タスクで機能するように設計されています。以前のマルチモーダル モデルと比較して、このホワイト ペーパーで提案されているアプローチは、後の段階でフィーチャ フュージョンを実行し、単一モダリティ ソースの深いレベルのフィーチャをより適切に表現できるようにします。さらに、MMDR モデルは、機能融合段階で浅いグローバル機能を組み込み、背景情報と全体的な入力を認識する能力をモデルに与え、それによって検出の見逃しなどの問題を回避します。
Object detection has been extensively utilized in autonomous systems in recent years, encompassing both 2D and 3D object detection. Recent research in this field has primarily centered around multimodal approaches for addressing this issue.In this paper, a multimodal fusion approach based on result feature-level fusion is proposed. This method utilizes the outcome features generated from single modality sources, and fuses them for downstream tasks.Based on this method, a new post-fusing network is proposed for multimodal object detection, which leverages the single modality outcomes as features. The proposed approach, called Multi-Modal Detector based on Result features (MMDR), is designed to work for both 2D and 3D object detection tasks. Compared to previous multimodal models, the proposed approach in this paper performs feature fusion at a later stage, enabling better representation of the deep-level features of single modality sources. Additionally, the MMDR model incorporates shallow global features during the feature fusion stage, endowing the model with the ability to perceive background information and the overall input, thereby avoiding issues such as missed detections.