マルチオブジェクトトラッキング(MOT)は、ビデオ内のさまざまなオブジェクトの位置を検出し、それらを一意のIDに関連付けることを目的としたコンピュータービジョンのタスクです。オブジェクトの関連付け結果を改善するために、既存のトラッカーに移植することを目標とする制約プログラミング(CP)に基づくアプローチを提案します。 3つの独立したフェーズに分割されたモジュラーアルゴリズムを開発しました。最初のフェーズは、ベーストラッカーによって提供されたトラックレットを回復し、トラックレットがオーバーラップしてIDの切り替えを引き起こす可能性がある場合など、不確実な関連付けが検出された場所でそれらをカットすることです。第2フェーズでは、確率伝搬制約プログラミングアルゴリズムを使用して、以前に作成したトラックレットを関連付けます。ここでは、ダイナミクスや時間と空間におけるトラック間の距離など、複数の特性に基づいて各トラックレットにスコアを割り当てるさまざまな制約を提案します。 。最後に、3番目のフェーズは、作成した軌道の残りの穴を埋めるための基本的な補間モデルです。実験によると、私たちのモデルは、テストした3つの最先端のトラッカーすべての結果を改善することにつながります(HOTAとIDF1で3〜4ポイントを獲得)。
Multiple object tracking (MOT) is a task in computer vision that aims to detect the position of various objects in videos and to associate them to a unique identity. We propose an approach based on Constraint Programming (CP) whose goal is to be grafted to any existing tracker in order to improve its object association results. We developed a modular algorithm divided into three independent phases. The first phase consists in recovering the tracklets provided by a base tracker and to cut them at the places where uncertain associations are spotted, for example, when tracklets overlap, which may cause identity switches. In the second phase, we associate the previously constructed tracklets using a Belief Propagation Constraint Programming algorithm, where we propose various constraints that assign scores to each of the tracklets based on multiple characteristics, such as their dynamics or the distance between them in time and space. Finally, the third phase is a rudimentary interpolation model to fill in the remaining holes in the trajectories we built. Experiments show that our model leads to improvements in the results for all three of the state-of-the-art trackers on which we tested it (3 to 4 points gained on HOTA and IDF1).