arXiv reaDer
遮蔽された人物の再識別のための消去、変換、およびノイズ防御ネットワーク
Erasing, Transforming, and Noising Defense Network for Occluded Person Re-Identification
オクルージョンの摂動​​は個人の再識別 (re-ID) において重大な課題を提示しており、外部の視覚的手がかりに依存する既存の方法では追加の計算リソースが必要であり、オクルージョンによって引き起こされる情報の欠落の問題のみを考慮しています。この論文では、消去、変換、およびノイズ防御ネットワーク (ETNDNet) と呼ばれる、シンプルかつ効果的なフレームワークを提案します。このフレームワークは、オクルージョンをノイズ妨害として扱い、敵対的防御の観点からオクルージョンされた人物の再 ID を解決します。提案された ETNDNet では、3 つの戦略を導入します。まず、特徴マップをランダムに消去して、不完全な情報を含む敵対的表現を作成します。これにより、アイデンティティ損失の敵対的学習が可能になり、欠落情報の妨害から re-ID システムを保護します。次に、オクルージョンによって引き起こされる位置のずれをシミュレートするランダム変換を導入し、抽出器と分類器を敵対的にトレーニングして、ずれた情報の影響を受けない堅牢な表現を学習します。第三に、障害物や対象外の歩行者によってもたらされるノイズの多い情報に対処するために、ランダムな値で特徴マップを摂動させ、オクルージョン ノイズに対する耐性を強化するために、re-ID システムに敵対的ゲームを採用します。付加機能はありませんが、ETNDNet には 3 つの重要なハイライトがあります。(i) パラメーターを備えた外部モジュールは必要ありません。(ii) 障害物や対象外の歩行者による遮蔽によって引き起こされるさまざまな問題を効果的に処理します。(iii)遮蔽された人物の再識別のための初の GAN ベースの敵対的防御パラダイム。 5 つの公開データセットに対する広範な実験により、提案されている ETNDNet の有効性、優位性、実用性が十分に実証されています。コードは https://github.com/nengdong96/ETNDNet で公開されます。
Occlusion perturbation presents a significant challenge in person re-identification (re-ID), and existing methods that rely on external visual cues require additional computational resources and only consider the issue of missing information caused by occlusion. In this paper, we propose a simple yet effective framework, termed Erasing, Transforming, and Noising Defense Network (ETNDNet), which treats occlusion as a noise disturbance and solves occluded person re-ID from the perspective of adversarial defense. In the proposed ETNDNet, we introduce three strategies: Firstly, we randomly erase the feature map to create an adversarial representation with incomplete information, enabling adversarial learning of identity loss to protect the re-ID system from the disturbance of missing information. Secondly, we introduce random transformations to simulate the position misalignment caused by occlusion, training the extractor and classifier adversarially to learn robust representations immune to misaligned information. Thirdly, we perturb the feature map with random values to address noisy information introduced by obstacles and non-target pedestrians, and employ adversarial gaming in the re-ID system to enhance its resistance to occlusion noise. Without bells and whistles, ETNDNet has three key highlights: (i) it does not require any external modules with parameters, (ii) it effectively handles various issues caused by occlusion from obstacles and non-target pedestrians, and (iii) it designs the first GAN-based adversarial defense paradigm for occluded person re-ID. Extensive experiments on five public datasets fully demonstrate the effectiveness, superiority, and practicality of the proposed ETNDNet. The code will be released at https://github.com/nengdong96/ETNDNet.
updated: Tue Nov 07 2023 09:09:18 GMT+0000 (UTC)
published: Fri Jul 14 2023 06:42:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト