arXiv reaDer
Diff-ID: DeepFake 検出のための説明可能な同一性差異定量化フレームワーク
Diff-ID: An Explainable Identity Difference Quantification Framework for DeepFake Detection
DeepFake の偽造検出アルゴリズムは、既知の操作に対して優れたパフォーマンスを達成したという事実にもかかわらず、目に見えない操作に一般化すると、悲惨なパフォーマンスの低下に直面することがよくあります。最近のいくつかの研究では、一般化の改善が示されていますが、圧縮などの画像の歪みに対して脆弱な機能に依存しています。この目的のために、顔の操作によって引き起こされるアイデンティティの喪失を説明および測定する簡潔で効果的なアプローチである Diff-ID を提案します。特定の人物の画像でテストする場合、Diff-ID はその人物の本物の画像を参照として利用し、顔交換ジェネレーターを適用することによって、同一のアイデンティティに依存しない属性特徴空間にそれらを整列させます。次に、整列されたペアの画像の違いから、テスト画像と参照画像の間の同一性損失を視覚化し、同一性損失を定量化するためのカスタム メトリックを設計します。この測定基準は、偽造画像と本物の画像を区別するのに効果的であることが証明されています。広範な実験により、当社のアプローチが DeepFake 画像の高い検出性能と、未知の偽造方法に対する最先端の一般化機能を実現すると同時に、画像の歪みに対しても堅牢であることが示されています。
Despite the fact that DeepFake forgery detection algorithms have achieved impressive performance on known manipulations, they often face disastrous performance degradation when generalized to an unseen manipulation. Some recent works show improvement in generalization but rely on features fragile to image distortions such as compression. To this end, we propose Diff-ID, a concise and effective approach that explains and measures the identity loss induced by facial manipulations. When testing on an image of a specific person, Diff-ID utilizes an authentic image of that person as a reference and aligns them to the same identity-insensitive attribute feature space by applying a face-swapping generator. We then visualize the identity loss between the test and the reference image from the image differences of the aligned pairs, and design a custom metric to quantify the identity loss. The metric is then proved to be effective in distinguishing the forgery images from the real ones. Extensive experiments show that our approach achieves high detection performance on DeepFake images and state-of-the-art generalization ability to unknown forgery methods, while also being robust to image distortions.
updated: Thu Mar 30 2023 10:10:20 GMT+0000 (UTC)
published: Thu Mar 30 2023 10:10:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト