arXiv reaDer
部分的なマルチモダリティ人物再識別のための動的強化ネットワーク
Dynamic Enhancement Network for Partial Multi-modality Person Re-identification
既存のマルチモダリティ研究の多くは、モダリティの完全性の仮定に基づいています。ただし、任意のモダリティが欠落する問題は実生活では非常に一般的であり、この問題はあまり研究されていませんが、マルチモダリティの人物再識別 (Re-ID) のタスクでは実際に重要です。この目的を達成するために、部分的なマルチモダリティの人物 Re-ID に対して、複数のモダリティの表現能力を維持しながら任意のモダリティの欠落を可能にする新しい動的拡張ネットワーク (DENet) を設計します。具体的には、RGB、近赤外 (NIR)、熱赤外 (TIR) 画像のマルチモーダル表現が 3 つのブランチによって学習され、欠落しているモダリティの情報が特徴変換モジュールによって復元されます。欠損状態は変更可能である可能性があるため、マルチモダリティ表現を改善するために、欠損状態に応じてモダリティ特徴を適応的に動的に強化する動的強化モジュールを設計します。マルチモダリティの人物 Re-ID データセット RGBNT201 と車両 Re-ID データセット RGBNT100 を用いた広範な実験により、最先端の手法と比較し、複雑で変化しやすい環境における手法の有効性が検証されました。
Many existing multi-modality studies are based on the assumption of modality integrity. However, the problem of missing arbitrary modalities is very common in real life, and this problem is less studied, but actually important in the task of multi-modality person re-identification (Re-ID). To this end, we design a novel dynamic enhancement network (DENet), which allows missing arbitrary modalities while maintaining the representation ability of multiple modalities, for partial multi-modality person Re-ID. To be specific, the multi-modal representation of the RGB, near-infrared (NIR) and thermal-infrared (TIR) images is learned by three branches, in which the information of missing modalities is recovered by the feature transformation module. Since the missing state might be changeable, we design a dynamic enhancement module, which dynamically enhances modality features according to the missing state in an adaptive manner, to improve the multi-modality representation. Extensive experiments on multi-modality person Re-ID dataset RGBNT201 and vehicle Re-ID dataset RGBNT100 comparing to the state-of-the-art methods verify the effectiveness of our method in complex and changeable environments.
updated: Thu May 25 2023 06:22:01 GMT+0000 (UTC)
published: Thu May 25 2023 06:22:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト