arXiv reaDer
GANで生成された顔を公開するための堅牢で注意深いディープニューラルネットワーク
Robust Attentive Deep Neural Network for Exposing GAN-generated Faces
リアルな顔を生成および合成するGANベースの手法は、深刻な社会的懸念とセキュリティ問題を引き起こしています。 GANで生成された顔を検出するための既存の方法は、限られた公開データセットでうまく機能します。ただし、既存の公開データセットからの画像は、ビューのバリエーションとデータ分布(実際の顔が合成の顔よりも大幅に多い)の観点から、実際のシナリオを十分に表していない。最先端の方法は、現実の問題では一般化されておらず、検出結果の解釈可能性に欠けています。不均衡なデータ分布に直面すると、既存のGAN顔検出モデルのパフォーマンスが大幅に低下します。これらの欠点に対処するために、目の不一致を分析することでGANで生成された顔を見つけることができる、堅牢で注意深いエンドツーエンドのネットワークを提案します。具体的には、私たちのモデルは、2つの目の間の虹彩のアーチファクトを自動的にローカライズして比較することにより、一貫性のない目のコンポーネントを識別することを学習します。私たちの深いネットワークは、AUC損失と従来のクロスエントロピー損失を一緒に検討することにより、不均衡な学習の問題に対処します。バランスの取れたシナリオと不均衡なシナリオの両方に関するFFHQデータセットの包括的な評価は、提案された方法の優位性を示しています。
GAN-based techniques that generate and synthesize realistic faces have caused severe social concerns and security problems. Existing methods for detecting GAN-generated faces can perform well on limited public datasets. However, images from existing public datasets do not represent real-world scenarios well enough in terms of view variations and data distributions (where real faces largely outnumber synthetic faces). The state-of-the-art methods do not generalize well in real-world problems and lack the interpretability of detection results. Performance of existing GAN-face detection models degrades significantly when facing imbalanced data distributions. To address these shortcomings, we propose a robust, attentive, end-to-end network that can spot GAN-generated faces by analyzing their eye inconsistencies. Specifically, our model learns to identify inconsistent eye components by localizing and comparing the iris artifacts between the two eyes automatically. Our deep network addresses the imbalance learning issues by considering the AUC loss and the traditional cross-entropy loss jointly. Comprehensive evaluations of the FFHQ dataset in terms of both balanced and imbalanced scenarios demonstrate the superiority of the proposed method.
updated: Sat Feb 12 2022 04:48:00 GMT+0000 (UTC)
published: Sun Sep 05 2021 21:22:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト