arXiv reaDer
AttMOT: 歩行者補助属性の導入による複数オブジェクト追跡の改善
AttMOT: Improving Multiple-Object Tracking by Introducing Auxiliary Pedestrian Attributes
マルチオブジェクト追跡 (MOT) は、インテリジェント監視や自動運転などの多数のアプリケーションを伴うコンピューター ビジョンにおける基本的な問題です。 MOT が大幅に進歩したにもかかわらず、性別、髪型、体型、服装の特徴など、豊富で高度な情報を含む歩行者の属性はあまり調査されていません。このギャップに対処するために、一般的な Re-ID 埋め込みをサポートするために歩行者の属性を予測するためのシンプルで効果的かつ汎用的な方法を提案します。まず、AttMOT を紹介します。AttMOT は、歩行者追跡のための大規模で高度に強化された合成データセットで、さまざまな時間、気象条件、シナリオの 80,000 フレームと 600 万以上の歩行者 ID が含まれています。私たちの知る限り、AttMOT はセマンティック属性を備えた最初の MOT データセットです。その後、Re-ID の埋め込みと注意メカニズムを含む歩行者属性を融合するためのさまざまなアプローチを検討します。これにより、属性支援 MOT の開発が促進されることを期待しています。提案された手法 AAM は、AttMOT データセットの実験を通じて、MOT17 や MOT20 を含むいくつかの代表的な歩行者マルチオブジェクト追跡ベンチマークに対するその有効性と一般性を実証します。 AAM を最先端のトラッカーに適用すると、MOTA、HOTA、AssA、ID、IDF1 スコアが一貫して向上します。たとえば、MOT17 では、提案された方法を FairMOT と併用すると、MOTA が +1.1、HOTA が +1.7、IDF1 が +1.8 向上します。属性支援 MOT に関するさらなる研究を促進するために、AttMOT データセットをリリースします。
Multi-object tracking (MOT) is a fundamental problem in computer vision with numerous applications, such as intelligent surveillance and automated driving. Despite the significant progress made in MOT, pedestrian attributes, such as gender, hairstyle, body shape, and clothing features, which contain rich and high-level information, have been less explored. To address this gap, we propose a simple, effective, and generic method to predict pedestrian attributes to support general Re-ID embedding. We first introduce AttMOT, a large, highly enriched synthetic dataset for pedestrian tracking, containing over 80k frames and 6 million pedestrian IDs with different time, weather conditions, and scenarios. To the best of our knowledge, AttMOT is the first MOT dataset with semantic attributes. Subsequently, we explore different approaches to fuse Re-ID embedding and pedestrian attributes, including attention mechanisms, which we hope will stimulate the development of attribute-assisted MOT. The proposed method AAM demonstrates its effectiveness and generality on several representative pedestrian multi-object tracking benchmarks, including MOT17 and MOT20, through experiments on the AttMOT dataset. When applied to state-of-the-art trackers, AAM achieves consistent improvements in MOTA, HOTA, AssA, IDs, and IDF1 scores. For instance, on MOT17, the proposed method yields a +1.1 MOTA, +1.7 HOTA, and +1.8 IDF1 improvement when used with FairMOT. To encourage further research on attribute-assisted MOT, we will release the AttMOT dataset.
updated: Tue Aug 15 2023 02:39:39 GMT+0000 (UTC)
published: Tue Aug 15 2023 02:39:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト