arXiv reaDer
DEFT: Detection Embeddings for Tracking
最新のマルチオブジェクトトラッキング(MOT)システムは、検出器とそれに続く検出をトラックに関連付ける方法で構成される、検出による追跡パラダイムに従います。モーション機能と外観機能を組み合わせてオクルージョンやその他の課題に対する堅牢性を提供する追跡には長い歴史がありますが、通常、これには、より複雑で低速な実装とのトレードオフが伴います。人気のある2Dトラッキングベンチマークでの最近の成功は、最先端の検出器と単一フレームの空間オフセットに依存する比較的単純な関連付けを使用してトップスコアを達成できることを示しています-特に、学習した外観機能を活用して再支援する現代の方法を上回っています-失われたトラックを特定します。この論文では、DEFT、または「追跡のための検出埋め込み」と呼ばれる効率的な共同検出および追跡モデルを提案します。私たちのアプローチは、基礎となるオブジェクト検出ネットワークと共同で学習した外観ベースのオブジェクトマッチングネットワークに依存しています。モーション制約をキャプチャするためにLSTMも追加されます。 DEFTは、2Dオンライン追跡リーダーボードのトップメソッドと同等の精度と速度を備えていますが、より困難な追跡データに適用すると、堅牢性に大きな利点があります。 DEFTは、nuScenes単眼3Dトラッキングの課題の水準を引き上げ、以前のトップメソッドのパフォーマンスを2倍以上にします。コードは公開されています。
Most modern multiple object tracking (MOT) systems follow the tracking-by-detection paradigm, consisting of a detector followed by a method for associating detections into tracks. There is a long history in tracking of combining motion and appearance features to provide robustness to occlusions and other challenges, but typically this comes with the trade-off of a more complex and slower implementation. Recent successes on popular 2D tracking benchmarks indicate that top-scores can be achieved using a state-of-the-art detector and relatively simple associations relying on single-frame spatial offsets -- notably outperforming contemporary methods that leverage learned appearance features to help re-identify lost tracks. In this paper, we propose an efficient joint detection and tracking model named DEFT, or "Detection Embeddings for Tracking." Our approach relies on an appearance-based object matching network jointly-learned with an underlying object detection network. An LSTM is also added to capture motion constraints. DEFT has comparable accuracy and speed to the top methods on 2D online tracking leaderboards while having significant advantages in robustness when applied to more challenging tracking data. DEFT raises the bar on the nuScenes monocular 3D tracking challenge, more than doubling the performance of the previous top method. Code is publicly available.
updated: Sun Jun 06 2021 22:25:52 GMT+0000 (UTC)
published: Wed Feb 03 2021 20:00:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト