自動運転車やその他の自律走行車は、カメラ画像内のオブジェクトを検出して追跡する必要があります。カルマンフィルターを備えた定速モーションモデルと割り当てヒューリスティックに基づく単純なオンライン追跡アルゴリズムを紹介します。割り当てヒューリスティックは、4つのメトリックに依存します。オブジェクトの外観を記述し、オブジェクトを再識別するために使用できる埋め込みベクトル、2つの連続するビデオフレーム間のオブジェクトの動きを記述する変位ベクトル、カルマンフィルター状態間のマハラノビス距離、および新しい検出、およびクラス距離。これらのメトリックは線形SVMと組み合わされ、割り当ての問題はハンガリーのアルゴリズムによって解決されます。また、これらのメトリックを推定する効率的なCNNアーキテクチャを提案します。マルチフレームモデルは、バックボーンで個別に処理される2つの連続するビデオフレームを受け入れ、オプティカルフローが結果のフィーチャマップで推定されます。これにより、ネットワークヘッドは変位ベクトルを推定できます。挑戦的なBDD100K追跡データセットに対するアプローチを評価します。私たちのマルチフレームモデルは、MOTPで0.206の低いローカリゼーションエラーで39.1%の良好なMOTA値を達成します。私たちの高速シングルフレームモデルは、MOTPで0.202のさらに低いローカリゼーションエラーと36.8%のMOTA値を達成します。
Self-driving cars and other autonomous vehicles need to detect and track objects in camera images. We present a simple online tracking algorithm that is based on a constant velocity motion model with a Kalman filter, and an assignment heuristic. The assignment heuristic relies on four metrics: An embedding vector that describes the appearance of objects and can be used to re-identify them, a displacement vector that describes the object movement between two consecutive video frames, the Mahalanobis distance between the Kalman filter states and the new detections, and a class distance. These metrics are combined with a linear SVM, and then the assignment problem is solved by the Hungarian algorithm. We also propose an efficient CNN architecture that estimates these metrics. Our multi-frame model accepts two consecutive video frames which are processed individually in the backbone, and then optical flow is estimated on the resulting feature maps. This allows the network heads to estimate the displacement vectors. We evaluate our approach on the challenging BDD100K tracking dataset. Our multi-frame model achieves a good MOTA value of 39.1% with low localization error of 0.206 in MOTP. Our fast single-frame model achieves an even lower localization error of 0.202 in MOTP, and a MOTA value of 36.8%.