arXiv reaDer
生成モデルのための人工フィンガープリント:トレーニングデータでのディープフェイクの帰属の根絶
Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data
生成的敵対的ネットワーク(GAN)の飛躍的進歩により、フォトリアリスティックな画像生成は新しいレベルの品質に達しました。しかし、そのようなディープフェイクのダークサイドである、生成されたメディアの悪意のある使用は、視覚的な誤報についての懸念を引き起こします。ディープフェイク検出に関する既存の研究は高い精度を示していますが、生成技術の進歩と検出対策技術の敵対的な反復の影響を受けます。したがって、モデルに人工指紋を導入することにより、生成モデルの進化にとらわれないディープフェイク検出に関するプロアクティブで持続可能なソリューションを求めています。私たちのアプローチはシンプルで効果的です。まず、人工指紋をトレーニングデータに埋め込み、次に、トレーニングデータから生成モデルへのそのような指紋の転送可能性に関する驚くべき発見を検証します。これは、生成されたディープフェイクに表示されます。実験によると、私たちのフィンガープリントソリューションは、(1)さまざまな最先端の生成モデルに当てはまり、(2)生成品質への副作用はごくわずかであり、(3)画像レベルおよびモデルレベルの摂動に対して堅牢であり続けます(4 )攻撃者による検出が困難なままであり、(5)ディープフェイクの検出とアトリビューションを些細なタスクに変換し、最近の最先端のベースラインを上回ります。私たちのソリューションは、事前に訓練された生成モデルの発明とそれらの考えられる誤用との間の責任ループを閉じ、現在の軍拡競争から独立させます。コードとモデルはhttps://github.com/ningyu1991/ArtificialGANFingerprintsで入手できます。
Photorealistic image generation has reached a new level of quality due to the breakthroughs of generative adversarial networks (GANs). Yet, the dark side of such deepfakes, the malicious use of generated media, raises concerns about visual misinformation. While existing research work on deepfake detection demonstrates high accuracy, it is subject to advances in generation techniques and adversarial iterations on detection countermeasure techniques. Thus, we seek a proactive and sustainable solution on deepfake detection, that is agnostic to the evolution of generative models, by introducing artificial fingerprints into the models. Our approach is simple and effective. We first embed artificial fingerprints into training data, then validate a surprising discovery on the transferability of such fingerprints from training data to generative models, which in turn appears in the generated deepfakes. Experiments show that our fingerprinting solution (1) holds for a variety of cutting-edge generative models, (2) leads to a negligible side effect on generation quality, (3) stays robust against image-level and model-level perturbations, (4) stays hard to be detected by adversaries, and (5) converts deepfake detection and attribution into trivial tasks and outperforms the recent state-of-the-art baselines. Our solution closes the responsibility loop between publishing pre-trained generative model inventions and their possible misuses, which makes it independent of the current arms race. Code and models are available at https://github.com/ningyu1991/ArtificialGANFingerprints .
updated: Thu Mar 17 2022 20:45:53 GMT+0000 (UTC)
published: Thu Jul 16 2020 16:49:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト