人物の再識別では、人物画像からパーツレベルの特徴を抽出することが重要であることが確認されています。既存のCNNベースの方法のほとんどは、人間の部分を大まかに特定するか、事前にトレーニングされた人間の解析モデルに依存して、識別可能な人間以外の部分(ナップザックなど)の特定に失敗します。このホワイトペーパーでは、Transformerアーキテクチャに初めてアライメントスキームを導入し、パッチレベルで人間のパーツと人間以外のパーツの両方を自動的に特定するAuto-Aligned Transformer(AAformer)を提案します。 Transformerでパーツの特徴を抽出するために、学習可能なベクトルである「パーツトークン」を紹介します。パーツトークンは、パッチのローカルサブセットとのみ相互作用し、パーツ表現であることを学習します。画像パッチを異なるサブセットに適応的にグループ化するために、自動調整を設計します。 Auto-Alignmentは、Optimal Transportアルゴリズムの高速バリアントを使用して、パッチの埋め込みをプロトタイプとしてパーツトークンを使用していくつかのグループにオンラインでクラスター化します。パーツの配置を自己注意に調和的に統合し、出力パーツトークンを直接取得に使用できます。広範な実験により、パーツトークンの有効性と、さまざまな最先端の方法に対するAAformerの優位性が検証されます。
In person re-identification, extracting part-level features from person images has been verified to be crucial. Most of existing CNN-based methods only locate the human parts coarsely, or rely on pre-trained human parsing models and fail in locating the identifiable non-human parts (e.g., knapsack). In this paper, we introduce an alignment scheme in Transformer architecture for the first time and propose the Auto-Aligned Transformer (AAformer) to automatically locate both the human parts and non-human ones at patch-level. We introduce the "part tokens", which are learnable vectors, to extract part features in Transformer. A part token only interacts with a local subset of patches in self-attention and learns to be the part representation. To adaptively group the image patches into different subsets, we design the Auto-Alignment. Auto-Alignment employs a fast variant of Optimal Transport algorithm to online cluster the patch embeddings into several groups with the part tokens as their prototypes. We harmoniously integrate the part alignment into the self-attention and the output part tokens can be directly used for retrieval. Extensive experiments validate the effectiveness of part tokens and the superiority of AAformer over various state-of-the-art methods.