マルチオブジェクトトラッキングは、自動運転車が交通シーンを安全にナビゲートするための重要な機能です。現在の最先端技術は、既存のトラックが何らかの距離メトリックを介して検出されたオブジェクトに関連付けられている、検出による追跡パラダイムに従います。追跡の精度を高めるための重要な課題は、データの関連付けと追跡のライフサイクル管理にあります。堅牢でデータ駆動型の追跡結果を提供するために、さまざまなトレーニング可能なモジュールで構成される確率的、マルチモーダル、マルチオブジェクト追跡システムを提案します。最初に、2D画像と3D LiDAR点群の特徴を融合して、オブジェクトの外観と幾何学的情報をキャプチャする方法を学習します。次に、トラックとデータ関連付けの新しい検出を比較するときに、マハラノビス距離と特徴距離を組み合わせたメトリックを学習することを提案します。そして第三に、不一致のオブジェクト検出からトラックを初期化するタイミングを学習することを提案します。広範な定量的および定性的な結果を通じて、私たちの方法がNuScenesTrackingデータセットの現在の最先端技術を上回っていることを示しています。
Multi-object tracking is an important ability for an autonomous vehicle to safely navigate a traffic scene. Current state-of-the-art follows the tracking-by-detection paradigm where existing tracks are associated with detected objects through some distance metric. The key challenges to increase tracking accuracy lie in data association and track life cycle management. We propose a probabilistic, multi-modal, multi-object tracking system consisting of different trainable modules to provide robust and data-driven tracking results. First, we learn how to fuse features from 2D images and 3D LiDAR point clouds to capture the appearance and geometric information of an object. Second, we propose to learn a metric that combines the Mahalanobis and feature distances when comparing a track and a new detection in data association. And third, we propose to learn when to initialize a track from an unmatched object detection. Through extensive quantitative and qualitative results, we show that our method outperforms current state-of-the-art on the NuScenes Tracking dataset.