カメラとLiDARフュージョンを使用したマルチオブジェクトトラッキング(MOT)には、オブジェクト検出、アフィニティ計算、およびデータの関連付けの正確な結果がリアルタイムで要求されます。このホワイトペーパーでは、自動運転アプリケーション向けのオンライン共同検出および追跡スキームと堅牢なデータ関連付けを備えた効率的なマルチモーダルMOTフレームワークを紹介します。この作業の目新しさは次のとおりです。(1)2Dおよび3D測定を使用した共同オブジェクトの検出と相関のためのエンドツーエンドのディープニューラルネットワークの開発。 (2)3D空間でのオクルージョンを意識した外観と動きの親和性を計算するための堅牢な親和性計算モジュールの開発。 (3)検出の信頼性、親和性、および開始-終了確率の間の共同最適化のための包括的なデータ関連付けモジュールの開発。 KITTI追跡ベンチマークの実験結果は、追跡精度と処理速度の両方の点で提案された方法の優れた性能を示しています。
Multi-object tracking (MOT) with camera-LiDAR fusion demands accurate results of object detection, affinity computation and data association in real time. This paper presents an efficient multi-modal MOT framework with online joint detection and tracking schemes and robust data association for autonomous driving applications. The novelty of this work includes: (1) development of an end-to-end deep neural network for joint object detection and correlation using 2D and 3D measurements; (2) development of a robust affinity computation module to compute occlusion-aware appearance and motion affinities in 3D space; (3) development of a comprehensive data association module for joint optimization among detection confidences, affinities and start-end probabilities. The experiment results on the KITTI tracking benchmark demonstrate the superior performance of the proposed method in terms of both tracking accuracy and processing speed.