この研究は、動的なグラフィカルデータ構造を使用して問題をモデル化するマルチオブジェクトトラッキング(MOT)への多くの古典的なアプローチに従い、この定式化を最新のニューラルネットワークに適合させるように適合させます。この作業における私たちの主な貢献は、複数のタイムステップにわたるデータ関連付けの問題を表す動的な無向グラフに基づくフレームワークの作成と、これらのグラフを操作してすべての関連付けに望ましい可能性を生成するメッセージパッシンググラフニューラルネットワーク(MPNN)です。その中で。また、複数のタイムステップで推論し、以前の間違いを修正し、信念を更新し、見逃した/誤った検出を処理できる、メモリ効率の高いリアルタイムのオンラインアルゴリズムを作成するために対処する必要がある計算問題の解決策と提案を提供します。このアプローチの有効性を示すために、2Dボックスの場所とオブジェクトカテゴリIDのみを使用して、各オブジェクトインスタンスの記述子を作成します。それにもかかわらず、私たちのモデルは、追加のセンサーや、複数の手作りおよび/または学習された機能を利用する最先端のアプローチと同等のパフォーマンスを発揮します。これは、適切な問題の定式化とモデル設計があれば、既成の検出器からの生の境界ボックス(およびその運動学)が、挑戦的なMOTベンチマークで競争力のある追跡結果を達成するのに十分であることを示しています。
This study follows many classical approaches to multi-object tracking (MOT) that model the problem using dynamic graphical data structures, and adapts this formulation to make it amenable to modern neural networks. Our main contributions in this work are the creation of a framework based on dynamic undirected graphs that represent the data association problem over multiple timesteps, and a message passing graph neural network (MPNN) that operates on these graphs to produce the desired likelihood for every association therein. We also provide solutions and propositions for the computational problems that need to be addressed to create a memory-efficient, real-time, online algorithm that can reason over multiple timesteps, correct previous mistakes, update beliefs, and handle missed/false detections. To demonstrate the efficacy of our approach, we only use the 2D box location and object category ID to construct the descriptor for each object instance. Despite this, our model performs on par with state-of-the-art approaches that make use of additional sensors, as well as multiple hand-crafted and/or learned features. This illustrates that given the right problem formulation and model design, raw bounding boxes (and their kinematics) from any off-the-shelf detector are sufficient to achieve competitive tracking results on challenging MOT benchmarks.