既存のマルチオブジェクト トラッキング (MOT) アルゴリズムはさまざまなベンチマークで競争力のあるパフォーマンスを得ていますが、それらのほとんどすべてが同じドメインでモデルのトレーニングと検証を行っています。 MOT の領域汎化問題はほとんど研究されていません。このギャップを埋めるために、まず、自然言語に含まれる高レベルの情報は、さまざまな追跡ドメインに対してドメイン不変であるという観察結果を導き出します。この観察に基づいて、ドメインの一般化能力を高めるために、自然言語表現をビジュアル MOT モデルに導入することを提案します。ただし、すべての追跡対象にテキストの説明を付けることは不可能です。この問題に取り組むために、ビジュアル コンテキスト プロンプト (VCP) とビジュアル言語ミキシング (VLM) という 2 つのモジュールを設計します。具体的には、VCP は入力フレームに基づいて視覚的なプロンプトを生成します。 VLM は、生成されたビジュアル プロンプト内の情報と事前定義された Trackbook からのテキスト プロンプトを結合して、インスタンス レベルの疑似テキスト記述を取得します。これは、さまざまなトラッキング シーンに対してドメイン不変です。 MOT17 でモデルをトレーニングし、MOT20 でそれらを検証することで、提案されたモジュールによって生成された疑似テキスト記述が、クエリベースのトラッカーの一般化パフォーマンスを大幅に改善することがわかりました。
Although existing multi-object tracking (MOT) algorithms have obtained competitive performance on various benchmarks, almost all of them train and validate models on the same domain. The domain generalization problem of MOT is hardly studied. To bridge this gap, we first draw the observation that the high-level information contained in natural language is domain invariant to different tracking domains. Based on this observation, we propose to introduce natural language representation into visual MOT models for boosting the domain generalization ability. However, it is infeasible to label every tracking target with a textual description. To tackle this problem, we design two modules, namely visual context prompting (VCP) and visual-language mixing (VLM). Specifically, VCP generates visual prompts based on the input frames. VLM joints the information in the generated visual prompts and the textual prompts from a pre-defined Trackbook to obtain instance-level pseudo textual description, which is domain invariant to different tracking scenes. Through training models on MOT17 and validating them on MOT20, we observe that the pseudo textual descriptions generated by our proposed modules improve the generalization performance of query-based trackers by large margins.