arXiv reaDer
顔面操作システムと戦うための情報を含む敵対的摂動
Information-containing Adversarial Perturbation for Combating Facial Manipulation Systems
ディープラーニング技術の発展により、顔操作システムは強力で使いやすくなりました。このようなシステムは、髪の色、性別、年齢など、特定の顔画像の属性を変更できます。このようなシステムの悪意のあるアプリケーションは、個人のプライバシーと評判に深刻な脅威をもたらします。既存の研究では、顔の操作から画像を保護するためのさまざまなアプローチが提案されています。受動的な防御方法は、顔が本物か偽物かを検出することを目的としています。これは事後法医学では機能しますが、悪意のある操作を防ぐことはできません。イニシアチブ防御法は、敵対的な摂動を画像に注入して顔の操作システムを混乱させることにより、画像を事前に保護しますが、画像が偽物であるかどうかを識別することはできません。既存の方法の制限に対処するために、顔画像をより包括的に保護する、情報を含む敵対的摂動 (IAP) という名前の新しい 2 層保護方法を提案します。エンコーダーを使用して、顔の画像とその ID メッセージをクロスモデルの敵対的例にマッピングします。これにより、複数の顔操作システムを妨害してイニシアチブ保護を実現できます。デコーダーを使用して敵対的な例でメッセージを回復すると、受動的な保護が提供され、来歴の追跡と偽の画像の検出に貢献します。一般的に使用される平均二乗誤差よりも、顔画像間の差を測定するのにより適した機能レベルの相関測定を導入します。さらに、メッセージを異なる周波数チャネルに拡散するスペクトル拡散法を提案し、それによって顔の操作に対するメッセージのロバスト性を改善します。広範な実験結果は、提案されたIAPが敵対的な例から高い平均精度でメッセージを回復し、顔の操作システムを効果的に混乱させることができることを示しています。
With the development of deep learning technology, the facial manipulation system has become powerful and easy to use. Such systems can modify the attributes of the given facial images, such as hair color, gender, and age. Malicious applications of such systems pose a serious threat to individuals' privacy and reputation. Existing studies have proposed various approaches to protect images against facial manipulations. Passive defense methods aim to detect whether the face is real or fake, which works for posterior forensics but can not prevent malicious manipulation. Initiative defense methods protect images upfront by injecting adversarial perturbations into images to disrupt facial manipulation systems but can not identify whether the image is fake. To address the limitation of existing methods, we propose a novel two-tier protection method named Information-containing Adversarial Perturbation (IAP), which provides more comprehensive protection for facial images. We use an encoder to map a facial image and its identity message to a cross-model adversarial example which can disrupt multiple facial manipulation systems to achieve initiative protection. Recovering the message in adversarial examples with a decoder serves passive protection, contributing to provenance tracking and fake image detection. We introduce a feature-level correlation measurement that is more suitable to measure the difference between the facial images than the commonly used mean squared error. Moreover, we propose a spectral diffusion method to spread messages to different frequency channels, thereby improving the robustness of the message against facial manipulation. Extensive experimental results demonstrate that our proposed IAP can recover the messages from the adversarial examples with high average accuracy and effectively disrupt the facial manipulation systems.
updated: Tue Mar 21 2023 06:48:14 GMT+0000 (UTC)
published: Tue Mar 21 2023 06:48:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト