arXiv reaDer
ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis
フォトリアリスティックな合成技術の急速な進歩は、実際の画像と操作された画像の境界がぼやけ始める臨界点に達しています。したがって、デジタル偽造分析のベンチマークと進歩は差し迫った問題になっています。ただし、既存の顔の偽造データセットは、多様性が限られているか、粗粒度の分析のみをサポートしています。この新たな脅威に対抗するために、ForgeryNetデータセットを構築します。これは、4つのタスクにわたる画像レベルおよびビデオレベルのデータの統一された注釈を備えた非常に大きな顔の偽造データセットです。 -way(本物/偽造のアイデンティティ-置き換えられた偽造アプローチ/偽物のアイデンティティ-残りの偽造アプローチ)、およびn-way(本物と15のそれぞれの偽造アプローチ)の分類。 2)空間偽造ローカリゼーション。これは、偽の画像の操作された領域を、対応するソースの実画像と比較してセグメント化します。 3)ビデオ偽造分類。ランダムな位置にある操作されたフレームを使用してビデオレベルの偽造分類を再定義します。実世界の攻撃者は任意のターゲットフレームを自由に操作できるため、このタスクは重要です。 4)時間的偽造のローカリゼーション。操作される時間的セグメントをローカライズします。 ForgeryNetは、データスケール(290万の画像、221,247のビデオ)、操作(7つの画像レベルのアプローチ、8つのビデオレベルのアプローチ)、摂動(36の独立した、より混合された摂動)の点で、公に利用可能な最大の深層偽造データセットです。 )および注釈(630万の分類ラベル、290万の操作領域注釈、および221,247の一時的な偽造セグメントラベル)。私たちは、既存の顔の科学捜査方法の広範なベンチマークと研究を実行し、いくつかの貴重な観察結果を取得します。
The rapid progress of photorealistic synthesis techniques has reached at a critical point where the boundary between real and manipulated images starts to blur. Thus, benchmarking and advancing digital forgery analysis have become a pressing issue. However, existing face forgery datasets either have limited diversity or only support coarse-grained analysis. To counter this emerging threat, we construct the ForgeryNet dataset, an extremely large face forgery dataset with unified annotations in image- and video-level data across four tasks: 1) Image Forgery Classification, including two-way (real / fake), three-way (real / fake with identity-replaced forgery approaches / fake with identity-remained forgery approaches), and n-way (real and 15 respective forgery approaches) classification. 2) Spatial Forgery Localization, which segments the manipulated area of fake images compared to their corresponding source real images. 3) Video Forgery Classification, which re-defines the video-level forgery classification with manipulated frames in random positions. This task is important because attackers in real world are free to manipulate any target frame. and 4) Temporal Forgery Localization, to localize the temporal segments which are manipulated. ForgeryNet is by far the largest publicly available deep face forgery dataset in terms of data-scale (2.9 million images, 221,247 videos), manipulations (7 image-level approaches, 8 video-level approaches), perturbations (36 independent and more mixed perturbations) and annotations (6.3 million classification labels, 2.9 million manipulated area annotations and 221,247 temporal forgery segment labels). We perform extensive benchmarking and studies of existing face forensics methods and obtain several valuable observations.
updated: Wed Jul 14 2021 06:26:05 GMT+0000 (UTC)
published: Tue Mar 09 2021 18:58:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト