arXiv reaDer
RepMix:合成画像のロバストな帰属のための表現ミキシング
RepMix: Representation Mixing for Robust Attribution of Synthesized Images
生成的敵対的ネットワーク(GAN)の急速な進歩により、画像の帰属に関する新たな課題が生じています。画像が合成であるかどうかを検出し、合成である場合は、どのGANアーキテクチャがそれを作成したかを判断します。ユニークなことに、私たちはこのタスクの解決策を提示します。1)画像をセマンティックコンテンツに不変に一致させる。 2)画像がオンラインで再共有されるときに一般的に発生する良性の変換(品質、解像度、形状などの変更)に対して堅牢です。私たちの研究を形式化するために、挑戦的なベンチマークであるAttribution88が収集され、堅牢で実用的な画像アトリビューションが実現します。次に、表現の混合と新しい損失に基づくGANフィンガープリント手法であるRepMixを提案します。画像のセマンティックコンテンツに対して不変であり、摂動に対してもロバストなGAN生成画像の出所を追跡する機能を検証します。私たちのアプローチは、セマンティックの一般化と堅牢性の両方に関する既存のGANフィンガープリント作業から大幅に改善されることを示しています。データとコードはhttps://github.com/TuBui/image_attributionで入手できます。
Rapid advances in Generative Adversarial Networks (GANs) raise new challenges for image attribution; detecting whether an image is synthetic and, if so, determining which GAN architecture created it. Uniquely, we present a solution to this task capable of 1) matching images invariant to their semantic content; 2) robust to benign transformations (changes in quality, resolution, shape, etc.) commonly encountered as images are re-shared online. In order to formalize our research, a challenging benchmark, Attribution88, is collected for robust and practical image attribution. We then propose RepMix, our GAN fingerprinting technique based on representation mixing and a novel loss. We validate its capability of tracing the provenance of GAN-generated images invariant to the semantic content of the image and also robust to perturbations. We show our approach improves significantly from existing GAN fingerprinting works on both semantic generalization and robustness. Data and code are available at https://github.com/TuBui/image_attribution.
updated: Tue Jul 05 2022 14:14:06 GMT+0000 (UTC)
published: Tue Jul 05 2022 14:14:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト