パーツレベルの表現は、堅牢な人物の再識別(ReID)にとって重要ですが、実際には、体のパーツのずれの問題により、機能の品質が低下します。この論文では、歩行者画像から意味的に整列されたパーツレベルの特徴を抽出するように設計された、マルチタスクパーツ認識ネットワーク(MPN)と呼ばれる堅牢でコンパクトで使いやすい方法を紹介します。 MPNは、トレーニング段階でマルチタスク学習(MTL)を介して身体部分のミスアライメントの問題を解決します。具体的には、同じバックボーンモデルの上部に、身体の各部分に対して1つのメインタスク(MT)と1つの補助タスク(AT)を構築します。 ATには、画像をトレーニングするための体の部分の位置の粗い事前設定が装備されています。次に、ATは、MTパラメータを最適化して、バックボーンモデルからパーツ関連チャネルを識別することにより、身体パーツの概念をMTに転送します。概念の転送は、2つの新しいアラインメント戦略によって実現されます。つまり、ハードパラメータ共有によるパラメータスペースアラインメントと、クラスごとの特徴スペースアラインメントです。学習された高品質パラメータの助けを借りて、MTは、テスト段階で関連するチャネルから意味的に整列されたパーツレベルの特徴を独立して抽出できます。 MPNには、次の3つの重要な利点があります。1)推論段階で身体部分の検出を行う必要がない。 2)そのモデルは非常にコンパクトで、トレーニングとテストの両方に効率的です。 3)トレーニング段階では、体の一部の位置の粗い事前設定のみが必要であり、簡単に取得できます。 4つの大規模ReIDデータベースでの体系的な実験は、MPNが常に最先端のアプローチを大幅に上回っていることを示しています。コードはhttps://github.com/WangKan0128/MPNで入手できます。
Part-level representations are important for robust person re-identification (ReID), but in practice feature quality suffers due to the body part misalignment problem. In this paper, we present a robust, compact, and easy-to-use method called the Multi-task Part-aware Network (MPN), which is designed to extract semantically aligned part-level features from pedestrian images. MPN solves the body part misalignment problem via multi-task learning (MTL) in the training stage. More specifically, it builds one main task (MT) and one auxiliary task (AT) for each body part on the top of the same backbone model. The ATs are equipped with a coarse prior of the body part locations for training images. ATs then transfer the concept of the body parts to the MTs via optimizing the MT parameters to identify part-relevant channels from the backbone model. Concept transfer is accomplished by means of two novel alignment strategies: namely, parameter space alignment via hard parameter sharing and feature space alignment in a class-wise manner. With the aid of the learned high-quality parameters, MTs can independently extract semantically aligned part-level features from relevant channels in the testing stage. MPN has three key advantages: 1) it does not need to conduct body part detection in the inference stage; 2) its model is very compact and efficient for both training and testing; 3) in the training stage, it requires only coarse priors of body part locations, which are easy to obtain. Systematic experiments on four large-scale ReID databases demonstrate that MPN consistently outperforms state-of-the-art approaches by significant margins. Code is available at https://github.com/WangKan0128/MPN.