arXiv reaDer
CycleTrans: 可視赤外線人物再識別のためのニュートラルでありながら差別的な機能の学習
CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification
可視赤外線個人再識別 (VI-ReID) は、可視および赤外線モダリティ全体で同じ個人を照合するタスクです。その主な課題は、異なるスペクトルで動作するカメラによって引き起こされるモダリティ ギャップにあります。既存の VI-ReID メソッドは主にモダリティ全体の一般的な機能の学習に焦点を当てており、多くの場合、機能の識別可能性を犠牲にしています。この問題に対処するために、CycleTrans と呼ばれる、ニュートラルでありながら差別的な機能学習のための新しいサイクル構築ベースのネットワークを提示します。具体的には、CycleTrans は軽量のナレッジ キャプチャ モジュール (KCM) を使用して、疑似クエリに従ってモダリティ関連の特徴マップから豊富なセマンティクスをキャプチャします。その後、モダリティに関係のないプロトタイプに従って、これらの機能をニュートラルな機能に変換するために、不一致モデリング モジュール (DMM) が展開されます。機能の識別性を確保するために、機能サイクルの構築のためにさらに 2 つの KCM が展開されます。サイクル構築により、私たちの方法は、顕著なセマンティクスを維持しながら、可視画像と赤外線画像の効果的なニュートラル機能を学習できます。 SYSU-MM01 および RegDB データセットでの広範な実験により、一連の最先端の方法に対する CycleTrans のメリットが検証され、SYSU-MM01 のランク 1 で +4.57%、RegDB のランク 1 で +2.2% が確認されました。
Visible-infrared person re-identification (VI-ReID) is a task of matching the same individuals across the visible and infrared modalities. Its main challenge lies in the modality gap caused by cameras operating on different spectra. Existing VI-ReID methods mainly focus on learning general features across modalities, often at the expense of feature discriminability. To address this issue, we present a novel cycle-construction-based network for neutral yet discriminative feature learning, termed CycleTrans. Specifically, CycleTrans uses a lightweight Knowledge Capturing Module (KCM) to capture rich semantics from the modality-relevant feature maps according to pseudo queries. Afterwards, a Discrepancy Modeling Module (DMM) is deployed to transform these features into neutral ones according to the modality-irrelevant prototypes. To ensure feature discriminability, another two KCMs are further deployed for feature cycle constructions. With cycle construction, our method can learn effective neutral features for visible and infrared images while preserving their salient semantics. Extensive experiments on SYSU-MM01 and RegDB datasets validate the merits of CycleTrans against a flurry of state-of-the-art methods, +4.57% on rank-1 in SYSU-MM01 and +2.2% on rank-1 in RegDB.
updated: Sun Aug 21 2022 08:41:40 GMT+0000 (UTC)
published: Sun Aug 21 2022 08:41:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト