最近、フェイススワッピングが急速に発展しており、驚くべき現実を達成しており、偽のコンテンツが懸念されています。対策として、さまざまな検出手法が提案され、有望な性能を達成しています。ただし、ほとんどの既存の検出器は、目に見えない顔の交換方法と低品質の画像でパフォーマンスを維持するのに苦労しています.一般化の問題とは別に、現在の検出アプローチは、検出を認識するマニピュレータによって作成された回避攻撃に対して脆弱であることが示されています。敵対的なシナリオの下での堅牢性の欠如は、現実の世界で顔の交換検出を適用するための脅威を残します.この論文では、一般化とロバスト性を改善するために、IdP_FSD と呼ばれる顔識別確率分布に基づく新しい顔スワッピング検出アプローチを提案します。 IdP_FSD は、ID が有限セットに属しているスワップされた顔を検出するために特別に設計されており、これは実際のアプリケーションで意味があります。以前の一般的な検出方法と比較して、関係のあるアイデンティティを持つ利用可能な実際の顔を利用し、トレーニングに偽のサンプルを必要としません。 IdP_FSD は、スワップされた顔の ID がスワッピングに関与する 2 つの顔の ID を結合するという、顔のスワッピングの共通の性質を利用します。この性質を顔識別モデルの混同に反映し、出力確率分布の最大値で混同を測定します。さらに、敵対的なシナリオの下で検出器を防御するために、IdP_FSD で使用される顔識別モデルに対して注意ベースの微調整スキームが提案されています。広範な実験により、提案された IdP_FSD は、さまざまなベンチマーク データセットと画像品質で高い検出性能を達成するだけでなく、マニピュレーターが検出を回避するためのハードルも引き上げることが示されています。
Recently, face swapping has been developing rapidly and achieved a surprising reality, raising concerns about fake content. As a countermeasure, various detection approaches have been proposed and achieved promising performance. However, most existing detectors struggle to maintain performance on unseen face swapping methods and low-quality images. Apart from the generalization problem, current detection approaches have been shown vulnerable to evasion attacks crafted by detection-aware manipulators. Lack of robustness under adversary scenarios leaves threats for applying face swapping detection in real world. In this paper, we propose a novel face swapping detection approach based on face identification probability distributions, coined as IdP_FSD, to improve the generalization and robustness. IdP_FSD is specially designed for detecting swapped faces whose identities belong to a finite set, which is meaningful in real-world applications. Compared with previous general detection methods, we make use of the available real faces with concerned identities and require no fake samples for training. IdP_FSD exploits face swapping's common nature that the identity of swapped face combines that of two faces involved in swapping. We reflect this nature with the confusion of a face identification model and measure the confusion with the maximum value of the output probability distribution. What's more, to defend our detector under adversary scenarios, an attention-based finetuning scheme is proposed for the face identification models used in IdP_FSD. Extensive experiments show that the proposed IdP_FSD not only achieves high detection performance on different benchmark datasets and image qualities but also raises the bar for manipulators to evade the detection.