arXiv reaDer
パッチベースのアプローチを使用した隠れた画像のディープフェイク検出
Deepfake Detection of Occluded Images Using a Patch-based Approach
DeepFake では、ディープ ラーニングおよび人工知能技術を使用して、通常 GAN によって生成されるビデオおよび画像コンテンツを生成または変更します。さらに、それは悪用される可能性があり、架空のニュース、倫理的および金融犯罪につながり、顔認識システムのパフォーマンスにも影響を与えます.したがって、本物の画像または偽の画像の検出は、特に人物の画像またはビデオのオリジナリティを認証するために重要です。このトピックで最も重要な課題の 1 つは、システムの精度を低下させる障害です。この研究では、顔全体と顔パッチを使用して、障害物がある場合に本物の画像と偽の画像を区別する深層学習アプローチを提示します。最初は顔全体の推論、2 番目は特徴の連結に基づく決定です。顔パッチのベクトル、およびこれらの機能に基づく多数決の決定。私たちのアプローチをテストするために、本物の画像と偽の画像を含む新しいデータセットが作成されます。偽の画像を生成するために、StyleGAN と StyleGAN2 は FFHQ 画像でトレーニングされ、StarGAN と PGGAN は CelebA 画像でトレーニングされます。 CelebA および FFHQ データセットは実画像として使用されます。提案されたアプローチは、他の方法よりも初期のエポックでより高い結果に達し、さまざまな構築されたデータセットで SoTA の結果を 0.4% ~ 7.9% 増加させます。また、実験結果では、パッチを重み付けすると精度が向上する可能性があることが示されています。
DeepFake involves the use of deep learning and artificial intelligence techniques to produce or change video and image contents typically generated by GANs. Moreover, it can be misused and leads to fictitious news, ethical and financial crimes, and also affects the performance of facial recognition systems. Thus, detection of real or fake images is significant specially to authenticate originality of people's images or videos. One of the most important challenges in this topic is obstruction that decreases the system precision. In this study, we present a deep learning approach using the entire face and face patches to distinguish real/fake images in the presence of obstruction with a three-path decision: first entire-face reasoning, second a decision based on the concatenation of feature vectors of face patches, and third a majority vote decision based on these features. To test our approach, new datasets including real and fake images are created. For producing fake images, StyleGAN and StyleGAN2 are trained by FFHQ images and also StarGAN and PGGAN are trained by CelebA images. The CelebA and FFHQ datasets are used as real images. The proposed approach reaches higher results in early epochs than other methods and increases the SoTA results by 0.4%-7.9% in the different built data-sets. Also, we have shown in experimental results that weighing the patches may improve accuracy.
updated: Mon Apr 10 2023 12:12:14 GMT+0000 (UTC)
published: Mon Apr 10 2023 12:12:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト