arXiv reaDer
教師なし個人の再識別のための共同生成的および対照的学習
Joint Generative and Contrastive Learning for Unsupervised Person Re-identification
大規模なデータセットでIDラベルに注釈を付けることは、労働集約的な作業であり、現実の世界での個人の再識別(ReID)のスケーラビリティを大幅に制限します。教師なしReIDは、ラベルのない画像から直接表現を学習することで、この問題に対処します。最近の自己教師あり対照学習は、教師なし表現学習に効果的なアプローチを提供します。このホワイトペーパーでは、生成的敵対的ネットワーク(GAN)と対照学習を1つの共同トレーニングフレームワークに組み込みます。 GANは対照学習のためのオンラインデータ拡張を提供しますが、対照モジュールは生成のためにビュー不変の機能を学習します。これに関連して、メッシュベースの新しいビュージェネレータを提案します。具体的には、メッシュ投影は、人の斬新なビューを生成するための参照として機能します。さらに、元のビューと生成されたビューの間の対照的な学習を容易にするために、ビュー不変の損失を提案します。ドメイン適応を含む以前のGANベースの監視されていないReIDメソッドから逸脱して、ラベル付けされたソースデータセットに依存しないため、メソッドがより柔軟になります。広範な実験結果は、私たちの方法が、いくつかの大規模なReIDデータセットの完全な教師なしおよび教師なしドメイン適応設定の両方で最先端の方法を大幅に上回っていることを示しています。
Annotating identity labels in large-scale datasets is a labour-intensive work, which strongly limits the scalability of person re-identification (ReID) in the real world. Unsupervised ReID addresses this issue by learning representations directly from unlabeled images. Recent self-supervised contrastive learning provides an effective approach for unsupervised representation learning. In this paper, we incorporate a Generative Adversarial Network (GAN) and contrastive learning into one joint training framework. While the GAN provides online data augmentation for contrastive learning, the contrastive module learns view-invariant features for generation. In this context, we propose a mesh-based novel view generator. Specifically, mesh projections serve as references towards generating novel views of a person. In addition, we propose a view-invariant loss to facilitate contrastive learning between original and generated views. Deviating from previous GAN-based unsupervised ReID methods involving domain adaptation, we do not rely on a labeled source dataset, which makes our method more flexible. Extensive experimental results show that our method significantly outperforms state-of-the-art methods under both, fully unsupervised and unsupervised domain adaptive settings on several large scale ReID datsets.
updated: Wed Dec 16 2020 16:49:57 GMT+0000 (UTC)
published: Wed Dec 16 2020 16:49:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト