ディープフェイクテクノロジーの乱用は最近深刻な懸念を引き起こしていますが、各フレームの写実的な合成が高いため、ディープフェイクビデオを検出する方法は依然として課題です。既存の画像レベルのアプローチは、多くの場合、単一のフレームに焦点を当て、ディープフェイクのビデオに隠された時空間的な手がかりを無視するため、一般化と堅牢性が低下します。ビデオレベル検出器の鍵は、ディープフェイクビデオのさまざまなフレームにまたがるローカルの顔の領域に分布する時空間の不一致を完全に活用することです。これに触発されて、この論文は、時空間ドロップアウトトランスフォーマーを介したディープフェイクビデオ検出を容易にするための、シンプルでありながら効果的なパッチレベルのアプローチを提案します。このアプローチでは、各入力ビデオをパッチのバッグに再編成し、それをビジョントランスフォーマーに供給して、堅牢な表現を実現します。具体的には、パッチレベルの時空間キューを完全に調査し、モデルの堅牢性と一般化能力をさらに強化するための効果的なデータ拡張として機能するために、時空間ドロップアウト操作が提案されています。操作は柔軟で、既存のビジョントランスに簡単に接続できます。広範な実験は、印象的な堅牢性、一般化可能性、および表現能力を備えた25の最先端技術に対する私たちのアプローチの有効性を示しています。
While the abuse of deepfake technology has caused serious concerns recently, how to detect deepfake videos is still a challenge due to the high photo-realistic synthesis of each frame. Existing image-level approaches often focus on single frame and ignore the spatiotemporal cues hidden in deepfake videos, resulting in poor generalization and robustness. The key of a video-level detector is to fully exploit the spatiotemporal inconsistency distributed in local facial regions across different frames in deepfake videos. Inspired by that, this paper proposes a simple yet effective patch-level approach to facilitate deepfake video detection via spatiotemporal dropout transformer. The approach reorganizes each input video into bag of patches that is then fed into a vision transformer to achieve robust representation. Specifically, a spatiotemporal dropout operation is proposed to fully explore patch-level spatiotemporal cues and serve as effective data augmentation to further enhance model's robustness and generalization ability. The operation is flexible and can be easily plugged into existing vision transformers. Extensive experiments demonstrate the effectiveness of our approach against 25 state-of-the-arts with impressive robustness, generalizability, and representation ability.