arXiv reaDer
ディープフェイク画像の分析と検出のためのウェーブレットパケット
Wavelet-Packets for Deepfake Image Analysis and Detection
ニューラルネットワークがリアルな人工画像を生成できるようになると、映画、音楽、ビデオゲームを改善し、インターネットをさらに創造的で刺激的な場所にする可能性があります。それでも、最新のテクノロジーは潜在的に新しいデジタルの嘘をつくことを可能にします。それに応じて、人工画像やその他のコンテンツを識別するための多様で信頼性の高い方法ツールボックスの必要性が生じます。以前の作業は、主にピクセル空間CNNまたはフーリエ変換に依存しています。私たちの知る限り、空間と周波数の両方にローカライズされたマルチスケールウェーブレット表現に基づく合成された偽の画像分析および検出方法は、これまで存在していませんでした。ウェーブレット変換は、空間情報をある程度保存します。これにより、新しい分析を提示できます。実際の画像と偽の画像のウェーブレット係数を比較すると、解釈が可能になります。重要な違いが識別されます。さらに、この論文は、自然画像およびGAN生成画像のウェーブレットパケット表現に基づく合成画像の検出のためのモデルを学習することを提案します。当社の軽量フォレンジック分類器は、FFHQ、CelebA、およびLSUNのソース識別の問題で示すように、比較的小さなネットワークサイズで競争力のあるまたは改善されたパフォーマンスを示します。さらに、バイナリのFaceForensics++偽検出問題を調査します。
As neural networks become able to generate realistic artificial images, they have the potential to improve movies, music, video games and make the internet an even more creative and inspiring place. Yet, the latest technology potentially enables new digital ways to lie. In response, the need for a diverse and reliable method toolbox arises to identify artificial images and other content. Previous work primarily relies on pixel-space CNNs or the Fourier transform. To the best of our knowledge, synthesized fake image analysis and detection methods based on a multi-scale wavelet representation, localized in both space and frequency, have been absent thus far. The wavelet transform conserves spatial information to a degree, which allows us to present a new analysis. Comparing the wavelet coefficients of real and fake images allows interpretation. Significant differences are identified. Additionally, this paper proposes to learn a model for the detection of synthetic images based on the wavelet-packet representation of natural and GAN-generated images. Our lightweight forensic classifiers exhibit competitive or improved performance at comparatively small network sizes, as we demonstrate on the FFHQ, CelebA and LSUN source identification problems. Furthermore, we study the binary FaceForensics++ fake-detection problem.
updated: Thu Mar 17 2022 10:11:52 GMT+0000 (UTC)
published: Thu Jun 17 2021 10:41:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト