ディープフェイクと呼ばれる超現実的なビデオを生成および合成できるディープラーニングモデルの急速な進歩と、一般の人々へのアクセスのしやすさにより、関係者全員から悪意のある使用の可能性に対する懸念が高まっています。ディープラーニング技術では、顔の生成、ビデオ内の2つの被写体間の顔の交換、顔の表情の変更、性別の変更、顔の特徴の変更などを行うことができます。これらの強力なビデオ操作方法は、多くの分野で使用できる可能性があります。ただし、個人情報の盗難、フィッシング、詐欺などの有害な目的で使用された場合、すべての人に迫り来る脅威をもたらします。この作業では、ディープフェイクを検出するための畳み込みビジョントランスフォーマーを提案します。畳み込みビジョントランスフォーマーには、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の2つのコンポーネントがあります。 CNNは学習可能な特徴を抽出し、ViTは学習した特徴を入力として取り込み、注意メカニズムを使用してそれらを分類します。 DeepFake検出チャレンジデータセット(DFDC)でモデルをトレーニングし、91.5%の精度、0.91のAUC値、0.32の損失値を達成しました。私たちの貢献は、ViTアーキテクチャにCNNモジュールを追加し、DFDCデータセットで競争力のある結果を達成したことです。
The rapid advancement of deep learning models that can generate and synthesis hyper-realistic videos known as Deepfakes and their ease of access to the general public have raised concern from all concerned bodies to their possible malicious intent use. Deep learning techniques can now generate faces, swap faces between two subjects in a video, alter facial expressions, change gender, and alter facial features, to list a few. These powerful video manipulation methods have potential use in many fields. However, they also pose a looming threat to everyone if used for harmful purposes such as identity theft, phishing, and scam. In this work, we propose a Convolutional Vision Transformer for the detection of Deepfakes. The Convolutional Vision Transformer has two components: Convolutional Neural Network (CNN) and Vision Transformer (ViT). The CNN extracts learnable features while the ViT takes in the learned features as input and categorizes them using an attention mechanism. We trained our model on the DeepFake Detection Challenge Dataset (DFDC) and have achieved 91.5 percent accuracy, an AUC value of 0.91, and a loss value of 0.32. Our contribution is that we have added a CNN module to the ViT architecture and have achieved a competitive result on the DFDC dataset.