arXiv reaDer
Looking Twice for Partial Clues: Weakly-supervised Part-Mentored Attention Network for Vehicle Re-Identification
車両再識別(Re-ID)は、異なるカメラ間で同じ車両の画像を取得することです。 2つの重要な課題は、ほぼ重複するIDによって引き起こされるインスタンス間の微妙な不一致と、異なるビューによって引き起こされるインスタンス内の大きな差異にあります。全体的な外観は視点の変動と歪みに悩まされるため、車両の説明を強化するためにパーツレベルの特徴学習が導入されました。ただし、重要な部分をローカライズおよび増幅するための既存のアプローチでは、空間的な不整合やオクルージョンを処理できないことが多く、高価な注釈が必要になります。この論文では、自己注意を伴う車両部品ローカリゼーションのための部品注意ネットワーク(PANet)とグローバルおよびローカル機能を指導するための部品メンタリングネットワーク(PMNet)で構成される弱く監視された部品メンタリングアテンションネットワーク(PMANet)を提案します。集約。まず、PANetを導入して、前景マスクを予測し、ID監視が弱い場合にのみK個の目立つ車両部品を特定します。次に、PMNetを提案して、マルチスケールの注意を払ってグローバルおよびパーツレベルの機能を学習し、パーツ転送を介してそれらをK個のメインパーツタスクに集約します。最初に一般的な情報でオブジェクトを区別し、次に顕著な部分を観察してより詳細な手がかりを得る人間のように、PANetとPMNetは、アイデンティティ間で大まかな検索を実行するための2段階の注意構造を構築します。最後に、このRe-IDの問題を、グローバルな特徴学習、ID分類、パーツ転送などのマルチタスク問題として扱います。さまざまな損失の最適な重み付けを学習するために、等分散性の不確実性を採用しています。包括的な実験は、2つのベンチマークデータセットで実施されます。私たちのアプローチは、VehicleIDのCMC @ 1で平均2.63%、VeRi776のmAPで2.2%、最近の最先端の方法を上回っています。閉塞されたテストセットの結果は、PMANetの一般化能力も示しています。
Vehicle re-identification (Re-ID) is to retrieve images of the same vehicle across different cameras. Two key challenges lie in the subtle inter-instance discrepancy caused by near-duplicate identities and the large intra-instance variance caused by different views. Since the holistic appearance suffers from viewpoint variation and distortion, part-level feature learning has been introduced to enhance vehicle description. However, existing approaches to localize and amplify significant parts often fail to handle spatial misalignment as well as occlusion and require expensive annotations. In this paper, we propose a weakly supervised Part-Mentored Attention Network (PMANet) composed of a Part Attention Network (PANet) for vehicle part localization with self-attention and a Part-Mentored Network (PMNet) for mentoring the global and local feature aggregation. Firstly, PANet is introduced to predict a foreground mask and pinpoint K prominent vehicle parts only with weak identity supervision. Secondly, we propose a PMNet to learn global and part-level features with multi-scale attention and aggregate them in K main-partial tasks via part transfer. Like humans who first differentiate objects with general information and then observe salient parts for more detailed clues, PANet and PMNet construct a two-stage attention structure to perform a coarse-to-fine search among identities. Finally, we address this Re-ID issue as a multi-task problem, including global feature learning, identity classification, and part transfer. We adopt Homoscedastic Uncertainty to learn the optimal weighing of different losses. Comprehensive experiments are conducted on two benchmark datasets. Our approach outperforms recent state-of-the-art methods by averagely 2.63% in CMC@1 on VehicleID and 2.2% in mAP on VeRi776. Results on occluded test sets also demonstrate the generalization ability of PMANet.
updated: Sat Jul 17 2021 12:19:12 GMT+0000 (UTC)
published: Sat Jul 17 2021 12:19:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト