arXiv reaDer
ディープフェイクモデル認識の活用について
On the Exploitation of Deepfake Model Recognition
生成的敵対的ネットワーク(GAN)の最近の進歩にもかかわらず、ディープフェイク現象に特に焦点を当てると、説明可能性や関連モデルの認識の観点からも明確な理解はありません。特に、同じ生成アーキテクチャ(StyleGANなど)によって作成された他の多くの可能なモデルと比較して、ディープフェイク画像を生成した特定のGANモデルの認識は、最先端ではまだ完全には対処されていないタスクです。この作業では、Deepfakeモデル認識のための分析フィンガープリントを指摘する可能性を評価するための堅牢な処理パイプラインが提示されます。生成された画像の詳細な分析を通じて50のわずかに異なるモデルの潜在空間を活用した後、適切なエンコーダーをトレーニングして、これらのモデルを区別し、96%を超える分類精度を取得しました。非常に類似した画像を識別する可能性が実証された後、潜在空間で発見された洞察を活用する専用のメトリックが導入されました。トレーニングフェーズで使用されていないモデルによって生成された画像のモデル認識タスクで94%以上の最終精度を達成することにより、この研究は、使用されたものと同様のある意味で一種の署名を導入するディープフェイク現象に対抗する重要な一歩を踏み出します。マルチメディアフォレンジック分野(例えば、カメラソース識別タスク、画像弾道タスクなど)。
Despite recent advances in Generative Adversarial Networks (GANs), with special focus to the Deepfake phenomenon there is no a clear understanding neither in terms of explainability nor of recognition of the involved models. In particular, the recognition of a specific GAN model that generated the deepfake image compared to many other possible models created by the same generative architecture (e.g. StyleGAN) is a task not yet completely addressed in the state-of-the-art. In this work, a robust processing pipeline to evaluate the possibility to point-out analytic fingerprints for Deepfake model recognition is presented. After exploiting the latent space of 50 slightly different models through an in-depth analysis on the generated images, a proper encoder was trained to discriminate among these models obtaining a classification accuracy of over 96%. Once demonstrated the possibility to discriminate extremely similar images, a dedicated metric exploiting the insights discovered in the latent space was introduced. By achieving a final accuracy of more than 94% for the Model Recognition task on images generated by models not employed in the training phase, this study takes an important step in countering the Deepfake phenomenon introducing a sort of signature in some sense similar to those employed in the multimedia forensics field (e.g. for camera source identification task, image ballistics task, etc).
updated: Sat Apr 09 2022 16:48:23 GMT+0000 (UTC)
published: Sat Apr 09 2022 16:48:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト