ガイド付き画像合成により、日常のユーザーは最小限の労力で写実的な画像を作成および編集できます。重要な課題は、ユーザー入力(手描きの色付きストロークなど)への忠実さと、合成された画像のリアリズムのバランスを取ることです。既存のGANベースの方法は、条件付きGANまたはGAN反転のいずれかを使用してこのようなバランスを達成しようとします。これは困難であり、多くの場合、個々のアプリケーションに追加のトレーニングデータまたは損失関数が必要です。これらの問題に対処するために、拡散モデル生成事前分布に基づく新しい画像合成および編集方法である確率微分編集(SDEdit)を導入します。これは、確率微分方程式(SDE)を介して繰り返しノイズ除去することにより、現実的な画像を合成します。任意のタイプのユーザーガイドを含む入力画像が与えられると、SDEditは最初に入力にノイズを追加し、次にSDEを介して結果の画像のノイズを除去してから、リアリズムを高めます。 SDEditは、タスク固有のトレーニングや反転を必要とせず、リアリズムと忠実さのバランスを自然に実現できます。人間の知覚研究によると、SDEditは、ストロークベースの画像合成や編集を含む複数のタスクで、リアリズムで最大98.09%、全体的な満足度スコアで91.72%、最先端のGANベースの方法を大幅に上回っています。画像合成として。
Guided image synthesis enables everyday users to create and edit photo-realistic images with minimum effort. The key challenge is balancing faithfulness to the user input (e.g., hand-drawn colored strokes) and realism of the synthesized image. Existing GAN-based methods attempt to achieve such balance using either conditional GANs or GAN inversions, which are challenging and often require additional training data or loss functions for individual applications. To address these issues, we introduce a new image synthesis and editing method, Stochastic Differential Editing (SDEdit), based on a diffusion model generative prior, which synthesizes realistic images by iteratively denoising through a stochastic differential equation (SDE). Given an input image with user guide of any type, SDEdit first adds noise to the input, then subsequently denoises the resulting image through the SDE prior to increase its realism. SDEdit does not require task-specific training or inversions and can naturally achieve the balance between realism and faithfulness. SDEdit significantly outperforms state-of-the-art GAN-based methods by up to 98.09% on realism and 91.72% on overall satisfaction scores, according to a human perception study, on multiple tasks, including stroke-based image synthesis and editing as well as image compositing.