最近の研究では、物理的な敵対パッチに対する顔認識モデルの脆弱性が明らかになりました。これにより、展開された顔認識システムに関するセキュリティ上の懸念が生じます。ただし、複雑な物理的条件下でほとんどの攻撃アルゴリズムの再現性を確保することは依然として困難であり、既存の方法の体系的な評価が不足しています。したがって、現実世界における顔認識の脆弱性の包括的な評価を可能にするフレームワークを開発することが不可欠です。この目的のために、物理的な顔のデジタル対応物として機能する3D顔モデリングを介して、物理的な世界での顔の複雑な変換をシミュレートすることを提案します。汎用フレームワークにより、さまざまな顔の変化や体調を制御して、再現性のある評価を包括的に行うことができます。このデジタルシミュレータを使用して、3D顔変換と現実的な物理的変化を考慮したFace3DAdvメソッドをさらに提案します。広範な実験により、Face3DAdvは、さまざまなホワイトボックスおよびブラックボックスの顔認識モデルに対して、シミュレートされた環境と物理的な環境の両方で、物理的に実現可能なさまざまな敵対パッチの有効性を大幅に向上できることが検証されます。
Recent studies have revealed the vulnerability of face recognition models against physical adversarial patches, which raises security concerns about the deployed face recognition systems. However, it is still challenging to ensure the reproducibility for most attack algorithms under complex physical conditions, which leads to the lack of a systematic evaluation of the existing methods. It is therefore imperative to develop a framework that can enable a comprehensive evaluation of the vulnerability of face recognition in the physical world. To this end, we propose to simulate the complex transformations of faces in the physical world via 3D-face modeling, which serves as a digital counterpart of physical faces. The generic framework allows us to control different face variations and physical conditions to conduct reproducible evaluations comprehensively. With this digital simulator, we further propose a Face3DAdv method considering the 3D face transformations and realistic physical variations. Extensive experiments validate that Face3DAdv can significantly improve the effectiveness of diverse physically realizable adversarial patches in both simulated and physical environments, against various white-box and black-box face recognition models.