arXiv reaDer
ディープフェイクはどこに見えますか?視線追跡による合成顔検出
Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking
AIの民主化のための最近のイニシアチブに続いて、ディープフェイクジェネレーターはますます人気があり、アクセスしやすくなり、信頼の社会的侵食に向けたディストピアシナリオを引き起こしています。生物学的信号などの特定のドメインは、生成的アプローチによってまだ偽造されていない実際のビデオの信頼性シグネチャを悪用できる検出方法に注目を集めました。この論文では、最初に、ディープフェイクが異なって示すいくつかの顕著な目と視線の特徴を提案します。次に、これらの機能を署名にコンパイルし、実際のビデオと偽のビデオの機能を分析および比較して、幾何学的、視覚的、メトリック、時間的、およびスペクトルの変動を定式化します。第3に、この定式化をディープニューラルネットワークによるディープフェイク検出問題に一般化して、野生のビデオをフェイクまたはリアルとして分類します。いくつかのディープフェイクデータセットでアプローチを評価し、FaceForensics ++で89.79%、ディープフェイク(野生)で80.0%、CelebDFデータセットで88.35%の精度を達成しています。さまざまな機能、アーキテクチャ、シーケンス期間、および後処理アーティファクトを含むアブレーション研究を実施します。私たちの分析は、提案された凝視署名のない複雑なネットワークアーキテクチャよりも6.29%改善された精度で結論付けています。
Following the recent initiatives for the democratization of AI, deep fake generators have become increasingly popular and accessible, causing dystopian scenarios towards social erosion of trust. A particular domain, such as biological signals, attracted attention towards detection methods that are capable of exploiting authenticity signatures in real videos that are not yet faked by generative approaches. In this paper, we first propose several prominent eye and gaze features that deep fakes exhibit differently. Second, we compile those features into signatures and analyze and compare those of real and fake videos, formulating geometric, visual, metric, temporal, and spectral variations. Third, we generalize this formulation to deep fake detection problem by a deep neural network, to classify any video in the wild as fake or real. We evaluate our approach on several deep fake datasets, achieving 89.79% accuracy on FaceForensics++, 80.0% on Deep Fakes (in the wild), and 88.35% on CelebDF datasets. We conduct ablation studies involving different features, architectures, sequence durations, and post-processing artifacts. Our analysis concludes with 6.29% improved accuracy over complex network architectures without the proposed gaze signatures.
updated: Mon Jan 04 2021 18:54:46 GMT+0000 (UTC)
published: Mon Jan 04 2021 18:54:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト