arXiv reaDer
頭と体:メディアでの個人検索のための統合検出器とグラフネットワーク
Head and Body: Unified Detector and Graph Network for Person Search in Media
メディアでの人物検索は、ビデオクリッピングや文字収集などのインターネットアプリケーションでますます可能性が高まっています。このタスクは一般的ですが、監視シーンに焦点を当てた以前の人物検索作業では見落とされています。メディアシナリオには、監視シーンとは異なるいくつかの課題があります。たとえば、人は頻繁に着替えることがあります。この問題を軽減するために、この論文では、メディアでの人の検索のための統合検出器およびグラフネットワーク(UDGNet)を提案します。 UDGNetは、人体と頭を同時に検出して再識別する最初の人物検索フレームワークです。具体的には、まず統合ネットワークに基づいて2つのブランチを構築し、人体と頭を検出し、検出された体と頭を再識別に使用します。このデュアルタスクアプローチは、識別学習を大幅に強化することができます。布の交換の問題に取り組むために、UDGNetは布を交換するサンプル間の信頼できるリンクを探索するために2つのグラフを作成し、グラフネットワークを利用してより良い埋め込みを学習します。この設計は、布を変える課題に対する人の検索の堅牢性を効果的に強化します。さらに、UDGNetは、アンカーベースとアンカーフリーの両方の人物検索フレームワークで実装でき、パフォーマンスの向上をさらに実現できることを示しています。このペーパーは、身体と頭の両方の注釈を提供する、Person Search in Media(PSM)の大規模なデータセットにも貢献しています。これは、メディアでの個人検索のデータセットとしては群を抜いて最大です。実験によると、UDGNetはアンカーフリーモデルAlignPSをmAPで12.1%改善します。一方、監視と長期シナリオ全体で優れた一般化を示しています。データセットとコードは、https://github.com/shuxjweb/PSM.gitで入手できます。
Person search in media has seen increasing potential in Internet applications, such as video clipping and character collection. This task is common but overlooked by previous person search works which focus on surveillance scenes. The media scenarios have some different challenges from surveillance scenes. For example, a person may change his clothes frequently. To alleviate this issue, this paper proposes a Unified Detector and Graph Network (UDGNet) for person search in media. UDGNet is the first person search framework to detect and re-identify the human body and head simultaneously. Specifically, it first builds two branches based on a unified network to detect the human body and head, then the detected body and head are used for re-identification. This dual-task approach can significantly enhance discriminative learning. To tackle the cloth-changing issue, UDGNet builds two graphs to explore reliable links among cloth-changing samples and utilizes a graph network to learn better embeddings. This design effectively enhances the robustness of person search to cloth-changing challenges. Besides, we demonstrate that UDGNet can be implemented with both anchor-based and anchor-free person search frameworks and further achieve performance improvement. This paper also contributes a large-scale dataset for Person Search in Media (PSM), which provides both body and head annotations. It is by far the largest dataset for person search in media. Experiments show that UDGNet improves the anchor-free model AlignPS by 12.1% in mAP. Meanwhile, it shows good generalization across surveillance and longterm scenarios. The dataset and code will be available at: https://github.com/shuxjweb/PSM.git.
updated: Sat Nov 27 2021 13:09:18 GMT+0000 (UTC)
published: Sat Nov 27 2021 13:09:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト