RGB赤外線(IR)の人物の再識別は、RGB画像とIR画像間のクロスモダリティのばらつきが大きいため、重要かつ困難な作業です。ほとんどの従来のアプローチは、特徴表現の学習により、クロスモダリティのギャップと特徴のアライメントを橋渡しすることを目的としています。本論文では、既存の方法とは異なり、RGB-IR RE-IDタスク用の新規かつエンドツーエンドのアライメント生成敵対ネットワーク(AlignGAN)を提案します。提案されたモデルにはいくつかのメリットがあります。まず、ピクセルアライメントとフィーチャアライメントを組み合わせて活用できます。私たちの知る限り、これはRGB-IR RE-ID問題の2つのアライメント戦略を共同でモデル化する最初の作業です。第二に、提案されたモデルは、ピクセルジェネレーター、特徴ジェネレーター、およびジョイントディスクリミネーターで構成されます。 3つのコンポーネント間でmin-maxゲームをプレイすることにより、モデルはモダリティ間およびモダリティ内の変動を緩和するだけでなく、同一性の一貫した機能を学習することができます。 2つの標準ベンチマークでの広範な実験結果は、提案されたモデルが最先端の方法に対して良好に機能することを示しています。特に、SYSU-MM01データセットでは、ランク1およびmAPの観点から、モデルで15.4%および12.9%の絶対ゲインを達成できます。
RGB-Infrared (IR) person re-identification is an important and challenging task due to large cross-modality variations between RGB and IR images. Most conventional approaches aim to bridge the cross-modality gap with feature alignment by feature representation learning. Different from existing methods, in this paper, we propose a novel and end-to-end Alignment Generative Adversarial Network (AlignGAN) for the RGB-IR RE-ID task. The proposed model enjoys several merits. First, it can exploit pixel alignment and feature alignment jointly. To the best of our knowledge, this is the first work to model the two alignment strategies jointly for the RGB-IR RE-ID problem. Second, the proposed model consists of a pixel generator, a feature generator, and a joint discriminator. By playing a min-max game among the three components, our model is able to not only alleviate the cross-modality and intra-modality variations but also learn identity-consistent features. Extensive experimental results on two standard benchmarks demonstrate that the proposed model performs favorably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve an absolute gain of 15.4% and 12.9% in terms of Rank-1 and mAP.