ディープフェイクは、誤った情報を助長することにより、デジタル ウェルビーイングに深刻な脅威をもたらします。ディープフェイクを肉眼で認識するのが難しくなるにつれて、人間のユーザーは、ビデオが本物か偽物かを判断するために、ディープフェイク検出モデルにますます依存するようになります。現在、モデルはビデオの信憑性を予測しますが、人間のユーザーに警告する方法を統合していません。ディープフェイク動画のアーティファクトを増幅して、人々がより検出しやすくするためのフレームワークを導入します。ビデオアーティファクトを強調するアテンションマップを作成するために人間の反応で訓練された、新しい半教師付きアーティファクトアテンションモジュールを提案します。これらのマップは 2 つの貢献をします。まず、ディープフェイク検出分類器のパフォーマンスが向上します。第二に、新しい「ディープフェイク似顔絵」を生成することができます。これは、アーティファクトを悪化させて人間の検出を改善するディープフェイクの変換です。ユーザー調査では、ビデオのプレゼンテーション時間とユーザー エンゲージメント レベル全体で、似顔絵が人間の検出を大幅に向上させることを示しています。全体として、ディープフェイクの緩和方法を設計するための人間中心のアプローチの成功を示しています。
Deepfakes pose a serious threat to digital well-being by fueling misinformation. As deepfakes get harder to recognize with the naked eye, human users become increasingly reliant on deepfake detection models to decide if a video is real or fake. Currently, models yield a prediction for a video's authenticity, but do not integrate a method for alerting a human user. We introduce a framework for amplifying artifacts in deepfake videos to make them more detectable by people. We propose a novel, semi-supervised Artifact Attention module, which is trained on human responses to create attention maps that highlight video artifacts. These maps make two contributions. First, they improve the performance of our deepfake detection classifier. Second, they allow us to generate novel "Deepfake Caricatures": transformations of the deepfake that exacerbate artifacts to improve human detection. In a user study, we demonstrate that Caricatures greatly increase human detection, across video presentation times and user engagement levels. Overall, we demonstrate the success of a human-centered approach to designing deepfake mitigation methods.