arXiv reaDer
ディープフェイクの似顔絵: アーティファクトへの注目を高めることで、人間と機械によるディープフェイクの検出が増加します
Deepfake Caricatures: Amplifying attention to artifacts increases deepfake detection by humans and machines
ディープフェイクは、誤った情報を助長することにより、デジタル ウェルビーイングに深刻な脅威をもたらします。ディープフェイクを肉眼で認識するのが難しくなるにつれて、人間のユーザーは、ビデオが本物か偽物かを判断するために、ディープフェイク検出モデルにますます依存するようになります。現在、モデルはビデオの信憑性を予測しますが、人間のユーザーに警告する方法を統合していません。ディープフェイク動画のアーティファクトを増幅して、人々がより検出しやすくするためのフレームワークを導入します。ビデオアーティファクトを強調するアテンションマップを作成するために人間の反応で訓練された、新しい半教師付きアーティファクトアテンションモジュールを提案します。これらのマップは 2 つの貢献をします。まず、ディープフェイク検出分類器のパフォーマンスが向上します。第二に、新しい「ディープフェイク似顔絵」を生成することができます。これは、アーティファクトを悪化させて人間の検出を改善するディープフェイクの変換です。ユーザー調査では、ビデオのプレゼンテーション時間とユーザー エンゲージメント レベル全体で、似顔絵が人間の検出を大幅に向上させることを示しています。全体として、ディープフェイクの緩和方法を設計するための人間中心のアプローチの成功を示しています。
Deepfakes pose a serious threat to digital well-being by fueling misinformation. As deepfakes get harder to recognize with the naked eye, human users become increasingly reliant on deepfake detection models to decide if a video is real or fake. Currently, models yield a prediction for a video's authenticity, but do not integrate a method for alerting a human user. We introduce a framework for amplifying artifacts in deepfake videos to make them more detectable by people. We propose a novel, semi-supervised Artifact Attention module, which is trained on human responses to create attention maps that highlight video artifacts. These maps make two contributions. First, they improve the performance of our deepfake detection classifier. Second, they allow us to generate novel "Deepfake Caricatures": transformations of the deepfake that exacerbate artifacts to improve human detection. In a user study, we demonstrate that Caricatures greatly increase human detection, across video presentation times and user engagement levels. Overall, we demonstrate the success of a human-centered approach to designing deepfake mitigation methods.
updated: Mon Apr 10 2023 17:14:43 GMT+0000 (UTC)
published: Wed Jun 01 2022 14:43:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト