arXiv reaDer
衣服を変える人物の再識別のためのアイデンティティガイド付き協調学習
Identity-Guided Collaborative Learning for Cloth-Changing Person Reidentification
着替え人物再識別 (ReID) は、着替えや歩行者の視点/ポーズの変更による大きな特徴の変化の問題に対処することを目的とした、新たに出現した研究トピックです。追加情報 (例: 人間の輪郭スケッチ情報、人体のキーポイント、および 3D 人間情報) を導入することによって大幅な進歩が達成されましたが、印象的な歩行者の表現のために着替え人物 ReID は依然として困難です。さらに、人間のセマンティック情報と歩行者識別情報は完全には調査されていません。これらの問題を解決するために、人間のセマンティックが完全に利用され、共同学習を導くためにアイデンティティが不変である、衣服を変える人ReIDのための新しいアイデンティティガイド付き共同学習スキーム(IGCL)を提案します。まず、衣服の注意と中間レベルの共同学習が採用されている場合に、衣服の情報によって引き起こされる干渉を合理的に減らすために、新しい衣服の注意劣化ストリームを設計します。次に、人間の意味的注意と身体のジグソー ストリームを提案して、人間の意味情報を強調し、同じアイデンティティのさまざまなポーズをシミュレートします。このように、抽出特徴は、背景に関係のない人間の意味情報に焦点を当てるだけでなく、歩行者のポーズのバリエーションにも適しています。さらに、アイデンティティの重要性を高め、より好ましいアイデンティティの堅牢な特徴を抽出するために、歩行者のアイデンティティ強化ストリームがさらに提案されます。最も重要なことは、これらすべてのストリームがエンドツーエンドの統合フレームワークで共同で調査され、ID が最適化のガイドとして利用されることです。 5 つの公共の服装担当者 ReID データセットに関する大規模な実験では、提案された IGCL が SOTA メソッドよりも大幅に優れていること、および抽出された特徴がより堅牢で、差別的であり、服装とは無関係であることを示しています。
Cloth-changing person reidentification (ReID) is a newly emerging research topic that is aimed at addressing the issues of large feature variations due to cloth-changing and pedestrian view/pose changes. Although significant progress has been achieved by introducing extra information (e.g., human contour sketching information, human body keypoints, and 3D human information), cloth-changing person ReID is still challenging due to impressionable pedestrian representations. Moreover, human semantic information and pedestrian identity information are not fully explored. To solve these issues, we propose a novel identity-guided collaborative learning scheme (IGCL) for cloth-changing person ReID, where the human semantic is fully utilized and the identity is unchangeable to guide collaborative learning. First, we design a novel clothing attention degradation stream to reasonably reduce the interference caused by clothing information where clothing attention and mid-level collaborative learning are employed. Second, we propose a human semantic attention and body jigsaw stream to highlight the human semantic information and simulate different poses of the same identity. In this way, the extraction features not only focus on human semantic information that is unrelated to the background but also are suitable for pedestrian pose variations. Moreover, a pedestrian identity enhancement stream is further proposed to enhance the identity importance and extract more favorable identity robust features. Most importantly, all these streams are jointly explored in an end-to-end unified framework, and the identity is utilized to guide the optimization. Extensive experiments on five public clothing person ReID datasets demonstrate that the proposed IGCL significantly outperforms SOTA methods and that the extracted feature is more robust, discriminative, and clothing-irrelevant.
updated: Mon Apr 10 2023 06:05:54 GMT+0000 (UTC)
published: Mon Apr 10 2023 06:05:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト