3Dオブジェクト検出は、自動運転システムのコアコンポーネントです。最先端の方法により、RGB画像とLiDARポイントクラウドデータをフレームごとに融合して、3Dバウンディングボックス回帰を実現します。ただし、フレームごとの3Dオブジェクト検出には、ノイズ、視野の障害物、およびスパース性の問題があります。これらの問題を軽減するために以前のタイムステップからの情報を使用するために、新しい時間融合モジュール(TFM)を提案します。まず、最先端の錐台ネットワークが、生のRGBおよびLiDARポイントクラウドデータからポイントクラウドの特徴をフレームごとに抽出します。次に、TFMモジュールはこれらの機能をリカレントニューラルネットワークと融合します。その結果、3Dオブジェクト検出は、単一フレームの障害や一時的なオクルージョンに対して堅牢になります。 KITTIオブジェクトトラッキングデータセットでの実験は、提案されたTFMの効率を示しています。ここでは、フレームごとのベースラインと比較して、車、歩行者、およびサイクリストのクラスでそれぞれ〜6%、〜4%、および〜6%の改善が得られます。 。さらに、アブレーション研究は、改善の対象が時間的融合であることを強調し、物体検出パイプラインにおけるTFMのさまざまな配置の影響を示しています。私たちのコードはオープンソースであり、https://gitlab.lrz.de/emec_ercelik/temp-frustnetで入手できます。
3D object detection is a core component of automated driving systems. State-of-the-art methods fuse RGB imagery and LiDAR point cloud data frame-by-frame for 3D bounding box regression. However, frame-by-frame 3D object detection suffers from noise, field-of-view obstruction, and sparsity. We propose a novel Temporal Fusion Module (TFM) to use information from previous time-steps to mitigate these problems. First, a state-of-the-art frustum network extracts point cloud features from raw RGB and LiDAR point cloud data frame-by-frame. Then, our TFM module fuses these features with a recurrent neural network. As a result, 3D object detection becomes robust against single frame failures and transient occlusions. Experiments on the KITTI object tracking dataset show the efficiency of the proposed TFM, where we obtain ~6%, ~4%, and ~6% improvements on Car, Pedestrian, and Cyclist classes, respectively, compared to frame-by-frame baselines. Furthermore, ablation studies reinforce that the subject of improvement is temporal fusion and show the effects of different placements of TFM in the object detection pipeline. Our code is open-source and available at https://gitlab.lrz.de/emec_ercelik/temp-frustnet.