arXiv reaDer
ディープフェイクの検出とローカリゼーションのための時空間機能の探索
Exploring Spatial-Temporal Features for Deepfake Detection and Localization
ディープフェイク フォレンジックに関する継続的な研究により、最近の研究では、ビデオ レベルでの大まかな分類に加えて、偽造のきめの細かいローカリゼーションを提供することが試みられています。ただし、既存のディープフェイク フォレンジック手法の検出とローカリゼーションのパフォーマンスには、さらに改善する余地がまだたくさんあります。この作業では、偽造領域の検出とローカライズのために空間的および時間的特徴を同時に調査する、時空間ディープフェイク検出およびローカリゼーション (ST-DDL) ネットワークを提案します。具体的には、新しいアンカー メッシュ モーション (AMM) アルゴリズムを設計して、顔の微表情の正確な幾何学的動きをモデル化することにより、時間 (モーション) 特徴を抽出します。大きく動くオブジェクトをシミュレートするために設計された従来のモーション抽出方法 (オプティカル フローなど) と比較して、提案された AMM は、小さな変位の顔の特徴をより適切にキャプチャできます。時間的特徴と空間的特徴は、最終的なディープフェイク フォレンジック タスク用の Transformer アーキテクチャに基づく Fusion Attention (FA) モジュールで融合されます。当社の ST-DDL ネットワークの優位性は、ビデオ レベルとピクセル レベルの両方の検出とローカリゼーションのパフォーマンスに関して、いくつかの最先端の競合他社との実験的比較によって検証されています。さらに、ディープフェイク フォレンジックの将来の開発を促進するために、6000 本のビデオで構成される公開の偽造データセットを構築し、制作に広く使用されている商用ソフトウェア (After Effects など) を使用するなどの多くの新機能を備え、オンライン ソーシャル ネットワークに送信されたバージョンを提供します。 、およびマルチソース ビデオのスプライシング。ソース コードとデータセットは、https://github.com/HighwayWu/ST-DDL で入手できます。
With the continuous research on Deepfake forensics, recent studies have attempted to provide the fine-grained localization of forgeries, in addition to the coarse classification at the video-level. However, the detection and localization performance of existing Deepfake forensic methods still have plenty of room for further improvement. In this work, we propose a Spatial-Temporal Deepfake Detection and Localization (ST-DDL) network that simultaneously explores spatial and temporal features for detecting and localizing forged regions. Specifically, we design a new Anchor-Mesh Motion (AMM) algorithm to extract temporal (motion) features by modeling the precise geometric movements of the facial micro-expression. Compared with traditional motion extraction methods (e.g., optical flow) designed to simulate large-moving objects, our proposed AMM could better capture the small-displacement facial features. The temporal features and the spatial features are then fused in a Fusion Attention (FA) module based on a Transformer architecture for the eventual Deepfake forensic tasks. The superiority of our ST-DDL network is verified by experimental comparisons with several state-of-the-art competitors, in terms of both video- and pixel-level detection and localization performance. Furthermore, to impel the future development of Deepfake forensics, we build a public forgery dataset consisting of 6000 videos, with many new features such as using widely-used commercial software (e.g., After Effects) for the production, providing online social networks transmitted versions, and splicing multi-source videos. The source code and dataset are available at https://github.com/HighwayWu/ST-DDL.
updated: Fri Oct 28 2022 03:38:49 GMT+0000 (UTC)
published: Fri Oct 28 2022 03:38:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト