arXiv reaDer
WOUAF: テキストから画像への拡散モデルにおけるユーザー属性とフィンガープリンティングのための重み付け変調
WOUAF: Weight Modulation for User Attribution and Fingerprinting in Text-to-Image Diffusion Models
生成モデルの急速な進歩により、テキストの説明から超現実的な画像の作成が容易になり、同時に誤った情報などの重大な社会的懸念も高まっています。従来の偽検出メカニズムは、ある程度の軽減は提供しますが、合成画像の悪意のある使用の責任を特定するには不十分です。この論文では、生成された画像に対する責任を割り当てるモデル フィンガープリンティングへの新しいアプローチを紹介します。これにより、モデルの誤用に対する潜在的な対策として機能します。私たちの方法は、各ユーザーの一意のデジタル指紋に基づいて生成モデルを変更し、結果として得られるコンテンツにユーザーを追跡できる一意の識別子を刻印します。このアプローチは、安定拡散モデルを使用して Text-to-Image (T2I) タスクに微調整を組み込むことで、出力品質への影響を最小限に抑えながら、ほぼ完璧なアトリビューション精度を実証します。私たちは、悪意のあるユーザーが指紋の検出を試みる場合と、ユーザーが私たちのメソッドを包括的に理解している場合の 2 つの異なるシナリオの下で、メソッドの機密性を厳しく検査します。また、エンドユーザーによって通常実行されるさまざまな画像後処理操作に対するアプローチの堅牢性も評価します。安定拡散モデルの広範な評価を通じて、私たちの方法は、責任あるモデルの配布と責任ある使用のための有望で新しい手段を提示します。
The rapid advancement of generative models, facilitating the creation of hyper-realistic images from textual descriptions, has concurrently escalated critical societal concerns such as misinformation. Traditional fake detection mechanisms, although providing some mitigation, fall short in attributing responsibility for the malicious use of synthetic images. This paper introduces a novel approach to model fingerprinting that assigns responsibility for the generated images, thereby serving as a potential countermeasure to model misuse. Our method modifies generative models based on each user's unique digital fingerprint, imprinting a unique identifier onto the resultant content that can be traced back to the user. This approach, incorporating fine-tuning into Text-to-Image (T2I) tasks using the Stable Diffusion Model, demonstrates near-perfect attribution accuracy with a minimal impact on output quality. We rigorously scrutinize our method's secrecy under two distinct scenarios: one where a malicious user attempts to detect the fingerprint, and another where a user possesses a comprehensive understanding of our method. We also evaluate the robustness of our approach against various image post-processing manipulations typically executed by end-users. Through extensive evaluation of the Stable Diffusion models, our method presents a promising and novel avenue for accountable model distribution and responsible use.
updated: Wed Jun 07 2023 19:44:14 GMT+0000 (UTC)
published: Wed Jun 07 2023 19:44:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト