個人の再識別(ReID)は、機械学習とコンピュータービジョンの非常にホットな研究トピックであり、多くの個人のReIDアプローチが提案されています。ただし、これらの方法のほとんどは、同じ人物が短い時間間隔で同じ服を着ていることを前提としているため、外観は類似している必要があります。しかし、実際の監視環境では、特定の人が長い期間を経て着替える可能性が高く、さまざまな私物を持って行くこともよくあります。このタイプのケースで既存の個人ReIDメソッドを適用すると、ほとんどすべてが失敗します。これまで、着替え人のReIDタスクに焦点を当てた作品はわずかですが、異なる服装の人を表現するための一般的で堅牢な特徴を抽出することは非常に困難であるため、パフォーマンスを改善する必要があります。さらに、視覚的意味情報はしばしば無視されます。これらの問題を解決するために、この作業では、視覚的意味情報と人間の属性がネットワークに埋め込まれ、人間の外観の一般化された機能が着替えの問題を効果的に解決するためによく学ばれます。具体的には、衣服を着替えた人を完全に表現するために、マルチグラニュラー特徴表現スキーム(MGR)を使用して人間の変化のない部分に焦点を合わせ、次に布感度低下ネットワーク(CDN)を設計してアプローチの特徴の堅牢性を向上させます。さまざまな高レベルの人間の属性が十分に活用されている、さまざまな服を着ている人のために。さらに、異なるカメラの視点の下でのポーズの変化とオクルージョンの問題をさらに解決するために、部分的に意味的に整列されたネットワーク(PSA)が提案され、人間の属性を整列させるために使用される視覚的意味情報を取得します。
Person reidentification (ReID) is a very hot research topic in machine learning and computer vision, and many person ReID approaches have been proposed; however, most of these methods assume that the same person has the same clothes within a short time interval, and thus their visual appearance must be similar. However, in an actual surveillance environment, a given person has a great probability of changing clothes after a long time span, and they also often take different personal belongings with them. When the existing person ReID methods are applied in this type of case, almost all of them fail. To date, only a few works have focused on the cloth-changing person ReID task, but since it is very difficult to extract generalized and robust features for representing people with different clothes, their performances need to be improved. Moreover, visual-semantic information is often ignored. To solve these issues, in this work, a novel multigranular visual-semantic embedding algorithm (MVSE) is proposed for cloth-changing person ReID, where visual semantic information and human attributes are embedded into the network, and the generalized features of human appearance can be well learned to effectively solve the problem of clothing changes. Specifically, to fully represent a person with clothing changes, a multigranular feature representation scheme (MGR) is employed to focus on the unchanged part of the human, and then a cloth desensitization network (CDN) is designed to improve the feature robustness of the approach for the person with different clothing, where different high-level human attributes are fully utilized. Moreover, to further solve the issue of pose changes and occlusion under different camera perspectives, a partially semantically aligned network (PSA) is proposed to obtain the visual-semantic information that is used to align the human attributes.