トレーニング画像とテスト画像が同じコレクションから抽出された場合、最新のディープフェイク検出器は有望な結果を達成しています。ただし、未知の技術を使用して操作された顔にこれらの検出器を適用すると、通常、かなりのパフォーマンスの低下が観察されます。この作業では、SeeABLE と呼ばれる新しいディープフェイク検出器を提案します。これは、検出問題を (1 クラスの) 分布外検出タスクとして形式化し、目に見えないディープフェイクをより適切に一般化します。具体的には、SeeABLE は新しいデータ拡張戦略を使用して、きめの細かいローカル画像の異常 (ソフト不一致と呼ばれます) を合成し、新しい回帰ベースの境界コントラスト損失を使用して、元の乱れた顔を事前定義されたプロトタイプにプッシュします。未知のディープフェイク タイプに対する SeeABLE の一般化パフォーマンスを強化するために、豊富なソフト ディスクレパンシ一式を生成し、検出器をトレーニングします。(i) 顔のどの部分が変更されたかをローカライズし、(ii) 変更タイプを識別します。広く使用されているデータセットで広範な実験を行うと、SeeABLE は既存の検出器よりも大幅に優れており、DFDC プレビュー データセットでは、単純なモデルを使用しながら SoTA メソッドよりも検出精度が最大 +10% 向上しています。コードは公開されます。
Modern deepfake detectors have achieved encouraging results, when training and test images are drawn from the same collection. However, when applying these detectors to faces manipulated using an unknown technique, considerable performance drops are typically observed. In this work, we propose a novel deepfake detector, called SeeABLE, that formalizes the detection problem as a (one-class) out-of-distribution detection task and generalizes better to unseen deepfakes. Specifically, SeeABLE uses a novel data augmentation strategy to synthesize fine-grained local image anomalies (referred to as soft-discrepancies) and pushes those pristine disrupted faces towards predefined prototypes using a novel regression-based bounded contrastive loss. To strengthen the generalization performance of SeeABLE to unknown deepfake types, we generate a rich set of soft discrepancies and train the detector: (i) to localize, which part of the face was modified, and (ii) to identify the alteration type. Using extensive experiments on widely used datasets, SeeABLE considerably outperforms existing detectors, with gains of up to +10% on the DFDC-preview dataset in term of detection accuracy over SoTA methods while using a simpler model. Code will be made publicly available.