LiDARセンサーによってキャプチャされた正確な深度情報が不足しているため、単眼3Dオブジェクト検出は、自動運転にとって重要でありながら困難なタスクです。本論文では、SGM3Dと呼ばれるステレオガイド単眼3Dオブジェクト検出ネットワークを提案します。これは、ステレオ画像から抽出された堅牢な3D特徴を活用して、単眼画像から学習した特徴を強化します。マルチグラニュラリティドメイン適応モジュール(MG-DA)を革新的に調査し、ネットワークの機能を活用して、単眼の手がかりのみに基づいてステレオ模倣機能を生成します。粗いBEV機能レベル、および細かいアンカーレベルのドメイン適応は、単眼枝を導くために活用されます。前の段階での不一致を軽減するために、ステレオ予測と単眼予測の間のオブジェクトレベルのドメイン適応のためのIoUマッチングベースのアライメントモジュール(IoU-MA)を紹介します。最も困難なKITTIおよびLyftデータセットで広範な実験を実施し、新しい最先端のパフォーマンスを実現します。さらに、私たちの方法は、余分な計算コストを導入することなく、パフォーマンスを向上させるために他の多くの単眼アプローチに統合することができます。
Monocular 3D object detection is a critical yet challenging task for autonomous driving, due to the lack of accurate depth information captured by LiDAR sensors. In this paper, we propose a stereo-guided monocular 3D object detection network, termed SGM3D, which leverages robust 3D features extracted from stereo images to enhance the features learned from the monocular image. We innovatively investigate a multi-granularity domain adaptation module (MG-DA) to exploit the network's ability so as to generate stereo-mimic features only based on the monocular cues. The coarse BEV feature-level, as well as the fine anchor-level domain adaptation, are leveraged to guide the monocular branch. We present an IoU matching-based alignment module (IoU-MA) for object-level domain adaptation between the stereo and monocular predictions to alleviate the mismatches in previous stages. We conduct extensive experiments on the most challenging KITTI and Lyft datasets and achieve new state-of-the-art performance. Furthermore, our method can be integrated into many other monocular approaches to boost performance without introducing any extra computational cost.