arXiv reaDer
指紋ドメインでのデータ拡張による一般的な GAN 生成の画像検出
General GAN-generated image detection by data augmentation in fingerprint domain
この作業では、指紋ドメインでデータ拡張を実行することにより、GAN で生成された画像検出器の一般化可能性を改善することを調査します。具体的には、最初にオートエンコーダーベースのGAN指紋抽出器を使用して、GANで生成された画像の指紋とコンテンツを分離し、続いて指紋のランダム摂動を分離します。次に、元の指紋が摂動された指紋で置き換えられ、元のコンテンツに追加されて、視覚的に不変であるが明確な指紋を持つ画像が生成されます。摂動画像は、さまざまな GAN によって生成された画像をうまく模倣して、検出器の一般化を改善できます。これは、スペクトルの視覚化によって示されます。私たちの知る限り、指紋ドメインでデータ拡張を行ったのは私たちが初めてです。私たちの仕事は、空間および周波数ドメインの増強に関する以前の研究とは異なる、新しい展望を探っています。広範なクロスGAN実験により、未知のGANによって生成された偽の画像を検出する最先端の方法と比較して、私たちの方法の有効性が実証されています。
In this work, we investigate improving the generalizability of GAN-generated image detectors by performing data augmentation in the fingerprint domain. Specifically, we first separate the fingerprints and contents of the GAN-generated images using an autoencoder based GAN fingerprint extractor, followed by random perturbations of the fingerprints. Then the original fingerprints are substituted with the perturbed fingerprints and added to the original contents, to produce images that are visually invariant but with distinct fingerprints. The perturbed images can successfully imitate images generated by different GANs to improve the generalization of the detectors, which is demonstrated by the spectra visualization. To our knowledge, we are the first to conduct data augmentation in the fingerprint domain. Our work explores a novel prospect that is distinct from previous works on spatial and frequency domain augmentation. Extensive cross-GAN experiments demonstrate the effectiveness of our method compared to the state-of-the-art methods in detecting fake images generated by unknown GANs.
updated: Sun Apr 09 2023 13:11:26 GMT+0000 (UTC)
published: Tue Dec 27 2022 12:37:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト