arXiv reaDer
ディープフェイクはどこに見えますか?視線追跡による合成顔検出
Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking
AIの民主化のための最近のイニシアチブに続いて、ディープフェイクジェネレーターはますます人気があり、アクセスしやすくなり、信頼の社会的侵食に向けたディストピアシナリオを引き起こしています。生物学的信号などの特定のドメインは、生成的アプローチによってまだ偽造されていない実際のビデオの信頼性シグネチャを悪用できる検出方法に注目を集めました。この論文では、最初に、ディープフェイクが異なって示すいくつかの顕著な目と視線の特徴を提案します。次に、これらの機能を署名にコンパイルし、実際のビデオと偽のビデオの機能を分析および比較して、幾何学的、視覚的、メトリック、時間的、およびスペクトルの変動を定式化します。第3に、この定式化をディープニューラルネットワークによるディープフェイク検出問題に一般化して、野生のビデオをフェイクまたはリアルとして分類します。いくつかのディープフェイクデータセットでアプローチを評価し、FaceForensics ++で92.48%、ディープフェイク(野生)で80.0%、CelebDFで88.35%、DeeperForensicsデータセットで99.27%の精度を達成しています。私たちのアプローチは、提案された視線署名のない複雑なネットワークアーキテクチャを備えた最も深く生物学的な偽の検出器よりも優れています。さまざまな機能、アーキテクチャ、シーケンス期間、および後処理アーティファクトを含むアブレーション研究を実施します。
Following the recent initiatives for the democratization of AI, deep fake generators have become increasingly popular and accessible, causing dystopian scenarios towards social erosion of trust. A particular domain, such as biological signals, attracted attention towards detection methods that are capable of exploiting authenticity signatures in real videos that are not yet faked by generative approaches. In this paper, we first propose several prominent eye and gaze features that deep fakes exhibit differently. Second, we compile those features into signatures and analyze and compare those of real and fake videos, formulating geometric, visual, metric, temporal, and spectral variations. Third, we generalize this formulation to the deep fake detection problem by a deep neural network, to classify any video in the wild as fake or real. We evaluate our approach on several deep fake datasets, achieving 92.48% accuracy on FaceForensics++, 80.0% on Deep Fakes (in the wild), 88.35% on CelebDF, and 99.27% on DeeperForensics datasets. Our approach outperforms most deep and biological fake detectors with complex network architectures without the proposed gaze signatures. We conduct ablation studies involving different features, architectures, sequence durations, and post-processing artifacts.
updated: Thu May 20 2021 17:59:20 GMT+0000 (UTC)
published: Mon Jan 04 2021 18:54:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト