arXiv reaDer
誘導された敵対的補間による少数ショットの偽造検出
Few-shot Forgery Detection via Guided Adversarial Interpolation
顔操作モデルの増加により、現実的な視覚メディアの合成という社会における重大な問題が生じています。新しい偽造アプローチが前例のない速度で出現する中、既存の偽造検出方法は、まだ見ぬ新しい偽造アプローチに適用されると大幅なパフォーマンスの低下に悩まされます。この研究では、1) さまざまな偽造アプローチ間のカバレッジ分析に基づく包括的なベンチマークを設計し、2) Guided Adversarial Interpolation (GAI) を提案することによって、数ショット偽造検出の問題に対処します。私たちの重要な洞察は、多数派の偽造クラスと少数派の偽造クラスの間には、移転可能な分布特性が存在するということです1。具体的には、教師ネットワークの指導の下、少数サンプルの偽造アーティファクトを多数サンプルに敵対的に補間することで、新しい偽造アプローチに対する識別能力を強化します。通常少数派クラスへの過剰適合を引き起こす標準的な再バランス方法とは異なり、私たちの方法は少数派情報の重要性だけでなく多数派情報の多様性も同時に考慮します。広範な実験により、当社の GAI が確立された数ショット偽造検出ベンチマークで最先端のパフォーマンスを達成することが実証されました。特に、私たちの方法は、多数派および少数派の偽造アプローチの選択に対して堅牢であることも検証されています。正式な出版バージョンは、Pattern Recognition で入手できます。
The increase in face manipulation models has led to a critical issue in society - the synthesis of realistic visual media. With the emergence of new forgery approaches at an unprecedented rate, existing forgery detection methods suffer from significant performance drops when applied to unseen novel forgery approaches. In this work, we address the few-shot forgery detection problem by 1) designing a comprehensive benchmark based on coverage analysis among various forgery approaches, and 2) proposing Guided Adversarial Interpolation (GAI). Our key insight is that there exist transferable distribution characteristics between majority and minority forgery classes1. Specifically, we enhance the discriminative ability against novel forgery approaches via adversarially interpolating the forgery artifacts of the minority samples to the majority samples under the guidance of a teacher network. Unlike the standard re-balancing method which usually results in over-fitting to minority classes, our method simultaneously takes account of the diversity of majority information as well as the significance of minority information. Extensive experiments demonstrate that our GAI achieves state-of-the-art performances on the established few-shot forgery detection benchmark. Notably, our method is also validated to be robust to choices of majority and minority forgery approaches. The formal publication version is available in Pattern Recognition.
updated: Sun Aug 27 2023 16:55:27 GMT+0000 (UTC)
published: Tue Apr 12 2022 16:05:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト