自動運転の知覚精度と安全性を向上させるために、車両間で集合知覚メッセージ(CPM)を共有することで、オクルージョンを低減することが調査されています。ただし、特に接続された自動運転車間でリアルタイム通信が必要な場合は、高精度のデータ共有と低い通信オーバーヘッドが集合的な認識にとって大きな課題になります。この論文では、3Dオブジェクト検出器PV-RCNNの上に構築された、集合知覚のためのFPV-RCNNと呼ばれる効率的かつ効果的なキーポイントベースの深部特徴融合フレームワークを提案します。バウンディングボックス提案マッチングモジュールとキーポイント選択戦略を導入して、CPMサイズを圧縮し、複数車両のデータ融合問題を解決します。鳥瞰図(BEV)のキーポイント特徴融合と比較して、FPV-RCNNは、集合的知覚専用の合成データセットCOMAPで、高い評価基準(IoU 0.7)で約14%向上した検出精度を実現します。また、そのパフォーマンスは、共有時にデータが失われない2つの生データ融合ベースラインに匹敵します。さらに、私たちの方法では、CPMサイズを0.3KB未満に大幅に削減します。これは、以前の作業で使用されたBEVフィーチャマップ共有の約50分の1です。 CPM機能チャネルの数がさらに減少した場合(128から32)でも、検出パフォーマンスは約1%しか低下しません。私たちのメソッドのコードはhttps://github.com/YuanYunshuang/FPV_RCNNで入手できます。
Sharing collective perception messages (CPM) between vehicles is investigated to decrease occlusions, so as to improve perception accuracy and safety of autonomous driving. However, highly accurate data sharing and low communication overhead is a big challenge for collective perception, especially when real-time communication is required among connected and automated vehicles. In this paper, we propose an efficient and effective keypoints-based deep feature fusion framework, called FPV-RCNN, for collective perception, which is built on top of the 3D object detector PV-RCNN. We introduce a bounding box proposal matching module and a keypoints selection strategy to compress the CPM size and solve the multi-vehicle data fusion problem. Compared to a bird's-eye view (BEV) keypoints feature fusion, FPV-RCNN achieves improved detection accuracy by about 14% at a high evaluation criterion (IoU 0.7) on a synthetic dataset COMAP dedicated to collective perception. Also, its performance is comparable to two raw data fusion baselines that have no data loss in sharing. Moreover, our method also significantly decreases the CPM size to less than 0.3KB, which is about 50 times smaller than the BEV feature map sharing used in previous works. Even with a further decreased number of CPM feature channels, i.e., from 128 to 32, the detection performance only drops about 1%. The code of our method is available at https://github.com/YuanYunshuang/FPV_RCNN.