arXiv reaDer
FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals
最近の偽のポートレートビデオの急増は、社会、法律、プライバシーに直接的な脅威をもたらしています。政治家の偽のビデオを信じ、有名人の偽のポルノコンテンツを配布し、法廷で証拠として偽装した偽のビデオを作成することは、深い偽物が実際にもたらしたほんの一部です。ディープフェイクの新たな脅威に対する予防策として、ポートレートビデオの合成コンテンツを検出する新しいアプローチを紹介します。つまり、ディープフェイクディテクターを導入します。生成モデルは非常に現実的な結果を生成するため、ディープラーニングを盲目的に利用する検出器は、偽のコンテンツの捕捉には効果的ではないことがわかります。私たちの主な主張は、肖像画のビデオに隠された生体信号は、偽のコンテンツで空間的または時間的に保存されないため、本物の暗黙の記述子として使用できるということです。このアサーションを証明して活用するために、最初にペアワイズ分離問題に対していくつかの信号変換を実行し、99.39%の精度を達成します。次に、提案された信号変換と対応する機能セットを分析することにより、これらの調査結果を利用して、偽のコンテンツの一般化された分類子を定式化します。 3番目に、新しい信号マップを生成し、CNNを使用して、合成コンテンツを検出するための従来の分類器を改善します。最後に、評価プロセスの一環として収集した偽のポートレートビデオの「実際の」データセットをリリースします。複数のデータセットでFakeCatcherを評価した結果、Face Forensics、Face Forensics ++、CelebDF、および新しいDeep Fakesデータセットで、それぞれ96%、94.65%、91.50%、91.07%の精度が得られました。また、さまざまなジェネレータから、目に見えないデータセットに対して、さまざまな次元削減技術の下で、さまざまな顔の領域からの信号を、さまざまなジェネレータからのさまざまなセグメント期間で、画像の歪みの下で分析します。
The recent proliferation of fake portrait videos poses direct threats on society, law, and privacy. Believing the fake video of a politician, distributing fake pornographic content of celebrities, fabricating impersonated fake videos as evidence in courts are just a few real world consequences of deep fakes. We present a novel approach to detect synthetic content in portrait videos, as a preventive solution for the emerging threat of deep fakes. In other words, we introduce a deep fake detector. We observe that detectors blindly utilizing deep learning are not effective in catching fake content, as generative models produce formidably realistic results. Our key assertion follows that biological signals hidden in portrait videos can be used as an implicit descriptor of authenticity, because they are neither spatially nor temporally preserved in fake content. To prove and exploit this assertion, we first engage several signal transformations for the pairwise separation problem, achieving 99.39% accuracy. Second, we utilize those findings to formulate a generalized classifier for fake content, by analyzing proposed signal transformations and corresponding feature sets. Third, we generate novel signal maps and employ a CNN to improve our traditional classifier for detecting synthetic content. Lastly, we release an "in the wild" dataset of fake portrait videos that we collected as a part of our evaluation process. We evaluate FakeCatcher on several datasets, resulting with 96%, 94.65%, 91.50%, and 91.07% accuracies, on Face Forensics, Face Forensics++, CelebDF, and on our new Deep Fakes Dataset respectively. We also analyze signals from various facial regions, under image distortions, with varying segment durations, from different generators, against unseen datasets, and under several dimensionality reduction techniques.
updated: Sun Jul 19 2020 03:02:54 GMT+0000 (UTC)
published: Tue Jan 08 2019 09:20:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト