点群と画像は、3Dオブジェクトを表現するときに補足情報を提供できます。通常、2種類のデータを融合すると、検出結果が向上します。ただし、2つのデータモダリティの特性が異なり、関心のない領域からの干渉があるため、2つのデータモダリティを融合することは困難です。この問題を解決するために、3Dオブジェクト検出用のマルチブランチディープフュージョンネットワーク(MBDF-Net)を提案します。提案された検出器には2つの段階があります。最初の段階では、マルチブランチ特徴抽出ネットワークは、Adaptive Attention Fusion(AAF)モジュールを利用して、シングルモーダルセマンティック特徴からクロスモーダル融合特徴を生成します。第2段階では、関心領域(RoI)にプールされた融合モジュールを使用して、改良のための拡張されたローカル機能を生成します。ダウンサンプリングプロセスの重要なポイントを選択するために、新しい注意ベースのハイブリッドサンプリング戦略も提案されています。 KITTIとSUN-RGBDを含む2つの広く使用されているベンチマークデータセットでアプローチを評価します。実験結果は、最先端のアプローチに対する私たちの方法の利点を示しています。
Point clouds and images could provide complementary information when representing 3D objects. Fusing the two kinds of data usually helps to improve the detection results. However, it is challenging to fuse the two data modalities, due to their different characteristics and the interference from the non-interest areas. To solve this problem, we propose a Multi-Branch Deep Fusion Network (MBDF-Net) for 3D object detection. The proposed detector has two stages. In the first stage, our multi-branch feature extraction network utilizes Adaptive Attention Fusion (AAF) modules to produce cross-modal fusion features from single-modal semantic features. In the second stage, we use a region of interest (RoI) -pooled fusion module to generate enhanced local features for refinement. A novel attention-based hybrid sampling strategy is also proposed for selecting key points in the downsampling process. We evaluate our approach on two widely used benchmark datasets including KITTI and SUN-RGBD. The experimental results demonstrate the advantages of our method over state-of-the-art approaches.