arXiv reaDer
拡散モデルによる合成画像の検出について
On the detection of synthetic images generated by diffusion models
過去 10 年間で、主に敵対的生成ネットワーク (GAN) に基づく強力な方法の開発のおかげで、合成メディアの作成に大きな進歩がありました。ごく最近、拡散モデル (DM) に基づく手法が脚光を浴びています。印象的なレベルのフォトリアリズムを提供するだけでなく、テキストベースのビジュアル コンテンツの作成を可能にし、アートからビデオ ゲームまで、さまざまなアプリケーション分野で新しくエキサイティングな機会を切り開きます。一方で、このプロパティは、攻撃に完全に適合した偽のメディアを生成して配布できる悪意のあるユーザーの手に渡る追加の資産であり、メディア フォレンジック コミュニティに新たな課題をもたらします。この作業により、拡散モデルによって生成された合成画像を元の画像と区別することがいかに難しいか、および現在の最先端の検出器がそのタスクに適しているかどうかを理解しようとしています。この目的のために、まず拡散モデルによって残されたフォレンジックの痕跡を公開し、次に、GAN で生成された画像用に開発された現在の検出器が、これらの新しい合成画像でどのように機能するかを研究します。特に、画像の圧縮とサイズ変更を伴う困難なソーシャル ネットワークのシナリオで。データセットとコードは、github.com/grip-unina/DMimageDetection で入手できます。
Over the past decade, there has been tremendous progress in creating synthetic media, mainly thanks to the development of powerful methods based on generative adversarial networks (GAN). Very recently, methods based on diffusion models (DM) have been gaining the spotlight. In addition to providing an impressive level of photorealism, they enable the creation of text-based visual content, opening up new and exciting opportunities in many different application fields, from arts to video games. On the other hand, this property is an additional asset in the hands of malicious users, who can generate and distribute fake media perfectly adapted to their attacks, posing new challenges to the media forensic community. With this work, we seek to understand how difficult it is to distinguish synthetic images generated by diffusion models from pristine ones and whether current state-of-the-art detectors are suitable for the task. To this end, first we expose the forensics traces left by diffusion models, then study how current detectors, developed for GAN-generated images, perform on these new synthetic images, especially in challenging social-networks scenarios involving image compression and resizing. Datasets and code are available at github.com/grip-unina/DMimageDetection.
updated: Tue Nov 01 2022 18:10:55 GMT+0000 (UTC)
published: Tue Nov 01 2022 18:10:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト