現代の顔認識システム(FRS)は、被験者が顔面マスクを着用している場合でも不十分です。これは、呼吸器パンデミックの時代に一般的なテーマです。直感的な部分的な救済策は、マスク検出器を追加してマスクされた顔にフラグを立て、FRSがそれらの信頼性の低いマスクされた顔に応じて動作できるようにすることです。この作業では、マスク検出器を備えたこのようなFRSの潜在的な脆弱性を、顔のアイデンティティとマスクの両方が存在するFRSを容疑者に回避させるなど、深刻なリスクを引き起こす可能性のある大規模なマスクされた顔で調査することに着手しました。検出されませんでした。既存の顔認識器とマスク検出器はそれぞれのタスクで高いパフォーマンスを発揮するため、それらを同時にだまし、攻撃の転送可能性を維持することは非常に困難です。現実的で敵対的な顔のマスクの生成として新しいタスクを定式化し、3つの主要な貢献をします。最初に、テンプレートから切り取られた顔のマスクを着用するプロセスをシミュレートするために、ナイーブなDelanunayベースのマスキング方法(DM)を研究します。この新しいタスクの主な課題を明らかにする画像。次に、DMに敵対的ノイズ攻撃をさらに装備し、顔認識とマスク検出を効果的に欺くことができるが、顔の自然さを低下させる敵対的ノイズDelaunayベースのマスキング方法(AdvNoise-DM)を提案します。第三に、AdvNoise-DMに敵対的フィルタリングを採用することにより、MF2Mと呼ばれる敵対的フィルタリングDelaunayベースのマスキング方法を提案し、より自然な顔を取得します。上記の努力により、最終バージョンは、最先端(SOTA)の深層学習ベースのFRSのパフォーマンスを大幅に低下させるだけでなく、SOTA顔マスク検出器によって検出されないままであるため、同時に。
Modern face recognition systems (FRS) still fall short when the subjects are wearing facial masks, a common theme in the age of respiratory pandemics. An intuitive partial remedy is to add a mask detector to flag any masked faces so that the FRS can act accordingly for those low-confidence masked faces. In this work, we set out to investigate the potential vulnerability of such FRS equipped with a mask detector, on large-scale masked faces, which might trigger a serious risk, e.g., letting a suspect evade the FRS where both facial identity and mask are undetected. As existing face recognizers and mask detectors have high performance in their respective tasks, it is significantly challenging to simultaneously fool them and preserve the transferability of the attack. We formulate the new task as the generation of realistic & adversarial-faced mask and make three main contributions: First, we study the naive Delanunay-based masking method (DM) to simulate the process of wearing a faced mask that is cropped from a template image, which reveals the main challenges of this new task. Second, we further equip the DM with the adversarial noise attack and propose the adversarial noise Delaunay-based masking method (AdvNoise-DM) that can fool the face recognition and mask detection effectively but make the face less natural. Third, we propose the adversarial filtering Delaunay-based masking method denoted as MF2M by employing the adversarial filtering for AdvNoise-DM and obtain more natural faces. With the above efforts, the final version not only leads to significant performance deterioration of the state-of-the-art (SOTA) deep learning-based FRS, but also remains undetected by the SOTA facial mask detector, thus successfully fooling both systems at the same time.