arXiv reaDer
DUAW: 安定した拡散のカスタマイズに対するデータフリーのユニバーサル敵対的ウォーターマーク
DUAW: Data-free Universal Adversarial Watermark against Stable Diffusion Customization
安定拡散 (SD) カスタマイズ アプローチにより、ユーザーは SD モデル出力をパーソナライズできるようになり、AI アートの柔軟性と多様性が大幅に向上します。ただし、個人が著作権で保護された画像から特定のスタイルや主題を盗用することも許可されており、著作権侵害の可能性について大きな懸念が生じます。この問題に対処するために、私たちは目に見えないデータフリーのユニバーサル敵対的ウォーターマーク (DUAW) を提案します。これは、著作権で保護された無数の画像を、さまざまなバージョンの SD モデルにわたるさまざまなカスタマイズ アプローチから保護することを目的としています。まず、DUAW は SD カスタマイズ中に変分オートエンコーダーを中断するように設計されています。第 2 に、DUAW はデータフリーのコンテキストで動作し、大規模言語モデル (LLM) と事前トレーニングされた SD モデルによって生成された合成画像でトレーニングされます。このアプローチにより、著作権で保護された画像を直接処理する必要がなくなり、その機密性が保たれます。 DUAW は一度作成されると、著作権で保護された大規模な画像に気づかれないように組み込むことができ、カスタマイズされた SD モデルによって生成された画像に重大な歪みを引き起こすことによる保護手段として機能します。実験結果は、DUAW が微調整された SD モデルの出力を効果的に歪め、人間の観察者と単純な分類器の両方が認識できるようにできることを示しています。
Stable Diffusion (SD) customization approaches enable users to personalize SD model outputs, greatly enhancing the flexibility and diversity of AI art. However, they also allow individuals to plagiarize specific styles or subjects from copyrighted images, which raises significant concerns about potential copyright infringement. To address this issue, we propose an invisible data-free universal adversarial watermark (DUAW), aiming to protect a myriad of copyrighted images from different customization approaches across various versions of SD models. First, DUAW is designed to disrupt the variational autoencoder during SD customization. Second, DUAW operates in a data-free context, where it is trained on synthetic images produced by a Large Language Model (LLM) and a pretrained SD model. This approach circumvents the necessity of directly handling copyrighted images, thereby preserving their confidentiality. Once crafted, DUAW can be imperceptibly integrated into massive copyrighted images, serving as a protective measure by inducing significant distortions in the images generated by customized SD models. Experimental results demonstrate that DUAW can effectively distort the outputs of fine-tuned SD models, rendering them discernible to both human observers and a simple classifier.
updated: Sat Aug 19 2023 02:51:00 GMT+0000 (UTC)
published: Sat Aug 19 2023 02:51:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト