arXiv reaDer
ガイド付き敵対的補間による数ショットの偽造検出
Few-shot Forgery Detection via Guided Adversarial Interpolation
現実的なビジュアルメディアの統合は、顔の操作モデルの急増に伴い、社会的に重要な問題になりつつあります。新しい偽造アプローチは、前例のないペースで出現します。残念ながら、既存の偽造検出方法を新しい偽造アプローチに適用すると、パフォーマンスが大幅に低下します。この作業では、さまざまな偽造アプローチ間のカバレッジ分析に基づいて包括的なベンチマークを設計し、ガイド付き敵対補間(GAI)を提案することにより、数ショットの偽造検出の問題に対処します。私たちの重要な洞察は、多数派と少数派のクラスのさまざまな偽造アプローチの間に移転可能な分布特性が存在するということです。具体的には、教師ネットワークの指導の下で、少数派のサンプルのアーティファクトを多数派のサンプルに敵対的に補間することにより、新しい偽造アプローチに対する識別能力を強化します。通常、少数派のクラスに過剰適合する標準的なリバランス方法とは異なり、この方法では、多数派の情報の多様性と少数派の情報の重要性を同時に考慮します。広範な実験により、GAIは、確立された数ショットの偽造検出ベンチマークで最先端のパフォーマンスを達成していることが実証されています。特に、私たちの方法は、多数派および少数派の偽造アプローチの選択に対して堅牢であることが検証されています。
Realistic visual media synthesis is becoming a critical societal issue with the surge of face manipulation models; new forgery approaches emerge at an unprecedented pace. Unfortunately, existing forgery detection methods suffer significant performance drops when applied to novel forgery approaches. In this work, we address the few-shot forgery detection problem by designing a comprehensive benchmark based on coverage analysis among various forgery approaches, and proposing Guided Adversarial Interpolation (GAI). Our key insight is that there exist transferable distribution characteristics among different forgery approaches with the majority and minority classes. Specifically, we enhance the discriminative ability against novel forgery approaches via adversarially interpolating the artifacts of the minority samples to the majority samples under the guidance of a teacher network. Unlike the standard re-balancing method which usually results in over-fitting to minority classes, our method simultaneously takes account of the diversity of majority information as well as the significance of minority information. Extensive experiments demonstrate that our GAI achieves state-of-the-art performances on the established few-shot forgery detection benchmark. Notably, our method is also validated to be robust to choices of majority and minority forgery approaches.
updated: Tue Apr 12 2022 16:05:10 GMT+0000 (UTC)
published: Tue Apr 12 2022 16:05:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト