arXiv reaDer
DeepFakesON-Phys:心拍数推定に基づくDeepFakes検出
DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation
この作品は、生理学的測定に基づく新しいディープフェイク検出フレームワークを紹介します。特に、リモートフォトプレチスモグラフィー(rPPG)を使用して心拍数に関連する情報を考慮します。 rPPGメソッドは、ビデオシーケンスを分析して、人間の皮膚の微妙な色の変化を探し、組織の下に人間の血液が存在することを明らかにします。この作業では、rPPGがDeepFakeビデオの検出にどの程度役立つかを調査します。 DeepFakesON-Physという名前の提案された偽の検出器は畳み込み注意ネットワーク(CAN)を使用します。これは、ビデオフレームから空間的および時間的情報を抽出し、両方のソースを分析および組み合わせて、偽のビデオをより適切に検出します。この検出アプローチは、この分野の最新の公開データベースであるCeleb-DFおよびDFDCを使用して実験的に評価されています。両方のデータベースで98%AUC(Area Under the Curve)を超える達成された結果は、最先端技術を上回り、最新のDeepFakeビデオを検出するための生理学的測定に基づく偽の検出器の成功を証明しています。
This work introduces a novel DeepFake detection framework based on physiological measurement. In particular, we consider information related to the heart rate using remote photoplethysmography (rPPG). rPPG methods analyze video sequences looking for subtle color changes in the human skin, revealing the presence of human blood under the tissues. In this work we investigate to what extent rPPG is useful for the detection of DeepFake videos. The proposed fake detector named DeepFakesON-Phys uses a Convolutional Attention Network (CAN), which extracts spatial and temporal information from video frames, analyzing and combining both sources to better detect fake videos. This detection approach has been experimentally evaluated using the latest public databases in the field: Celeb-DF and DFDC. The results achieved, above 98% AUC (Area Under the Curve) on both databases, outperform the state of the art and prove the success of fake detectors based on physiological measurement to detect the latest DeepFake videos.
updated: Mon Dec 14 2020 14:34:23 GMT+0000 (UTC)
published: Thu Oct 01 2020 13:37:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト