LiDARとカメラの融合に基づく3D物体検出は、自動運転の新たな研究テーマになりつつあります。しかし、情報の損失や干渉なしに両方のモダリティを効果的に融合することは驚くほど困難でした。この問題を解決するために、3Dオブジェクト検出の入力としてLiDAR鳥瞰図、LiDAR範囲ビュー、およびカメラビュー画像を使用するシングルステージマルチビューフュージョンフレームワークを提案します。マルチビュー機能を効果的に融合するために、注意ポイントワイズフュージョン(APF)モジュールを提案し、マルチビュー機能のアダプティブフュージョンをポイントワイズで実現できる注意メカニズムを使用して3つのソースの重要性を推定します。さらに、Attentive Pointwise Weighting(APW)モジュールは、ネットワークが構造情報とポイント特徴の重要性を学習するのに役立つように設計されており、前景分類と中心回帰の2つの追加タスクがあり、予測された前景確率を使用してポイント特徴を再重み付けします。これら2つのコンポーネントを統合するために、MVAF-Netという名前のエンドツーエンドの学習可能なネットワークを設計します。 KITTI 3Dオブジェクト検出データセットで実施された評価は、提案されたAPFおよびAPWモジュールが大幅なパフォーマンスの向上を提供し、提案されたMVAF-NetがKITTIベンチマークで最先端のパフォーマンスを達成することを示しています。
3D object detection based on LiDAR-camera fusion is becoming an emerging research theme for autonomous driving. However, it has been surprisingly difficult to effectively fuse both modalities without information loss and interference. To solve this issue, we propose a single-stage multi-view fusion framework that takes LiDAR Birds-Eye View, LiDAR Range View and Camera View images as inputs for 3D object detection. To effectively fuse multi-view features, we propose an Attentive Pointwise Fusion (APF) module to estimate the importance of the three sources with attention mechanisms which can achieve adaptive fusion of multi-view features in a pointwise manner. Besides, an Attentive Pointwise Weighting (APW) module is designed to help the network learn structure information and point feature importance with two extra tasks: foreground classification and center regression, and the predicted foreground probability will be used to reweight the point features. We design an end-to-end learnable network named MVAF-Net to integrate these two components. Our evaluations conducted on the KITTI 3D object detection datasets demonstrate that the proposed APF and APW module offer significant performance gain and that the proposed MVAF-Net achieves state-of-the-art performance in the KITTI benchmark.