arXiv reaDer
教師なし人物再識別のための生成された分散からの不変性の学習
Learning Invariance from Generated Variance for Unsupervised Person Re-identification
この作業は、個人の再識別 (ReID) における教師なし表現学習に焦点を当てています。最近の自己教師あり対照学習法は、同じ画像の 2 つの拡張ビュー間の表現の類似性を最大化することによって不変性を学習します。ただし、従来のデータ拡張は、id に敏感な ReID タスクでは常に好ましいとは限らない、id 機能の望ましくない歪みを前面に出す可能性があります。このホワイトペーパーでは、従来のデータ拡張を、対照学習用の拡張ビューを生成することを目的とした敵対的生成ネットワーク (GAN) に置き換えることを提案します。人物画像をid関連およびid非関連の特徴に分解するために、3Dメッシュ誘導人物画像ジェネレータが提案されています。 id に関係のない空間 (ポーズとカメラ スタイル) でのみ機能する以前の GAN ベースの ReID メソッドから逸脱して、id に関係のない機能と id に関連する機能の両方で GAN ベースの拡張を行います。さらに、特定の対照的な損失を提案して、ネットワークが id に関連しない拡張と id に関連する拡張から不変性を学習できるようにします。生成モジュールと対照モジュールを共同でトレーニングすることにより、私たちの方法は、主流の大規模ベンチマークで新しい最先端の教師なし人物 ReID パフォーマンスを達成します。
This work focuses on unsupervised representation learning in person re-identification (ReID). Recent self-supervised contrastive learning methods learn invariance by maximizing the representation similarity between two augmented views of a same image. However, traditional data augmentation may bring to the fore undesirable distortions on identity features, which is not always favorable in id-sensitive ReID tasks. In this paper, we propose to replace traditional data augmentation with a generative adversarial network (GAN) that is targeted to generate augmented views for contrastive learning. A 3D mesh guided person image generator is proposed to disentangle a person image into id-related and id-unrelated features. Deviating from previous GAN-based ReID methods that only work in id-unrelated space (pose and camera style), we conduct GAN-based augmentation on both id-unrelated and id-related features. We further propose specific contrastive losses to help our network learn invariance from id-unrelated and id-related augmentations. By jointly training the generative and the contrastive modules, our method achieves new state-of-the-art unsupervised person ReID performance on mainstream large-scale benchmarks.
updated: Mon Jan 02 2023 15:40:14 GMT+0000 (UTC)
published: Mon Jan 02 2023 15:40:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト