arXiv reaDer
視点の調整と融合による一般化可能な人物の再識別
Generalizable Person Re-Identification via Viewpoint Alignment and Fusion
現在の人物再識別 (ReID) メソッドでは、ほとんどのドメインの一般化作業は、ドメイン間のスタイルの違いに対処することに重点を置いていますが、予測不可能なカメラ ビューの変更はほとんど無視しています。視点の変更に取り組むために、この作業では、3D 密な姿勢推定モデルとテクスチャ マッピング モジュールを使用して、歩行者の画像を正規のビュー画像にマッピングすることを提案しています。テクスチャ マッピング モジュールの不完全性により、標準ビュー イメージは元のイメージから識別可能な詳細の手がかりを失う可能性があるため、それらを直接 ReID に使用すると、必然的にパフォーマンスが低下します。この問題を処理するために、変換ベースのモジュールを介して元の画像と正規ビュー画像を融合することを提案します。この設計の重要な洞察は、トランスフォーマーの相互注意メカニズムが、元の画像からの識別可能なテクスチャの手がかりを正規のビュー画像と整列させるための理想的なソリューションになる可能性があることです。これにより、正規のビュー画像の低品質のテクスチャ情報を補うことができます。画像を表示します。広範な実験を通じて、私たちの方法がさまざまな評価設定で既存のアプローチよりも優れたパフォーマンスをもたらすことができることを示しています。
In the current person Re-identification (ReID) methods, most domain generalization works focus on dealing with style differences between domains while largely ignoring unpredictable camera view change, which we identify as another major factor leading to a poor generalization of ReID methods. To tackle the viewpoint change, this work proposes to use a 3D dense pose estimation model and a texture mapping module to map the pedestrian images to canonical view images. Due to the imperfection of the texture mapping module, the canonical view images may lose the discriminative detail clues from the original images, and thus directly using them for ReID will inevitably result in poor performance. To handle this issue, we propose to fuse the original image and canonical view image via a transformer-based module. The key insight of this design is that the cross-attention mechanism in the transformer could be an ideal solution to align the discriminative texture clues from the original image with the canonical view image, which could compensate for the low-quality texture information of the canonical view image. Through extensive experiments, we show that our method can lead to superior performance over the existing approaches in various evaluation settings.
updated: Mon Dec 05 2022 16:24:09 GMT+0000 (UTC)
published: Mon Dec 05 2022 16:24:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト