テキストから画像への人物の再識別(ReID)は、テキストによる説明を使用して、関心のある人物を含む画像を検索することを目的としています。ただし、モダリティのギャップが大きく、テキストの説明がクラス内で大きく異なるため、テキストから画像へのReIDは依然として困難な問題です。したがって、本論文では、上記の問題を処理するために、セマンティック自己整合ネットワーク(SSAN)を提案します。まず、2つのモダリティから意味的に整列されたパーツレベルの特徴を自動的に抽出する新しい方法を提案します。次に、身体の部分間の関係をキャプチャするマルチビューの非ローカルネットワークを設計し、それによって身体の部分と名詞句の間のより良い対応を確立します。第3に、同じIDの他の画像のテキスト記述を利用して追加の監視を提供し、それによってテキスト機能のクラス内分散を効果的に削減する複合ランキング(CR)損失を導入します。最後に、テキストから画像へのReIDの将来の研究を促進するために、ICFG-PEDESという名前の新しいデータベースを構築します。広範な実験により、SSANは最先端のアプローチを大幅に上回っています。新しいICFG-PEDESデータベースとSSANコードの両方は、https://github.com/zifyloo/SSANで入手できます。
Text-to-image person re-identification (ReID) aims to search for images containing a person of interest using textual descriptions. However, due to the significant modality gap and the large intra-class variance in textual descriptions, text-to-image ReID remains a challenging problem. Accordingly, in this paper, we propose a Semantically Self-Aligned Network (SSAN) to handle the above problems. First, we propose a novel method that automatically extracts semantically aligned part-level features from the two modalities. Second, we design a multi-view non-local network that captures the relationships between body parts, thereby establishing better correspondences between body parts and noun phrases. Third, we introduce a Compound Ranking (CR) loss that makes use of textual descriptions for other images of the same identity to provide extra supervision, thereby effectively reducing the intra-class variance in textual features. Finally, to expedite future research in text-to-image ReID, we build a new database named ICFG-PEDES. Extensive experiments demonstrate that SSAN outperforms state-of-the-art approaches by significant margins. Both the new ICFG-PEDES database and the SSAN code are available at https://github.com/zifyloo/SSAN.