部分的な人物の再識別(ReID)は、対象となる人物の照合に人物画像の部分的な情報しか利用できないため、困難なタスクです。特に深層学習に関するいくつかの研究は、部分的な人の画像と全体的な人の画像とのマッチングに焦点を合わせています。この研究は、既存の全体的な人のデータセットで訓練することができるペアワイズ空間トランスフォーマーネットワーク(STNReID)に基づく新しい深い部分的なReIDフレームワークを提示します。 STNReIDには、空間変換ネットワーク(STN)モジュールとReIDモジュールが含まれます。 STNモジュールは、部分的な画像と一致するように、全体的な画像からアフィン画像(意味的に対応するパッチ)をサンプリングします。 ReIDモジュールは、全体像、部分像、および類似画像の特徴を抽出します。 STNモジュールとReIDモジュールの間で競合(または対立)が観察され、部分的なReIDに対して強力なSTNReIDを取得するために2段階のトレーニングが適用されます。実験結果は、STNReIDが部分的なReIDデータセットと部分的なiLIDSデータセットでそれぞれ66.7%と54.6%のランク1精度を取得することを示しています。これらの値は、最先端の方法で得られた値と同等です。
Partial person re-identification (ReID) is a challenging task because only partial information of person images is available for matching target persons. Few studies, especially on deep learning, have focused on matching partial person images with holistic person images. This study presents a novel deep partial ReID framework based on pairwise spatial transformer networks (STNReID), which can be trained on existing holistic person datasets. STNReID includes a spatial transformer network (STN) module and a ReID module. The STN module samples an affined image (a semantically corresponding patch) from the holistic image to match the partial image. The ReID module extracts the features of the holistic, partial, and affined images. Competition (or confrontation) is observed between the STN module and the ReID module, and two-stage training is applied to acquire a strong STNReID for partial ReID. Experimental results show that our STNReID obtains 66.7% and 54.6% rank-1 accuracies on partial ReID and partial iLIDS datasets, respectively. These values are at par with those obtained with state-of-the-art methods.