確率微分方程式(SDE)を使用した最近の生成モデルに基づいて、新しい画像編集および合成フレームワークである確率微分編集(SDEdit)を紹介します。ユーザーが編集した入力画像(手描きのカラーストロークなど)が与えられた場合、最初にSDEに従って入力にノイズを追加し、次に逆SDEをシミュレートしてノイズを除去し、前の状態での可能性を徐々に高めます。私たちの方法は、GAN反転に基づく最近の画像編集方法にとって重要なコンポーネントであるタスク固有の損失関数の設計を必要としません。条件付きGANと比較して、新しいアプリケーションのために元の画像と編集された画像の新しいデータセットを収集する必要はありません。したがって、私たちの方法は、モデルを再トレーニングすることなく、テスト時にさまざまな編集タスクにすばやく適応できます。私たちのアプローチは、ストロークペインティングや画像合成に基づく画像合成や編集など、幅広いアプリケーションで強力なパフォーマンスを実現します。
We introduce a new image editing and synthesis framework, Stochastic Differential Editing (SDEdit), based on a recent generative model using stochastic differential equations (SDEs). Given an input image with user edits (e.g., hand-drawn color strokes), we first add noise to the input according to an SDE, and subsequently denoise it by simulating the reverse SDE to gradually increase its likelihood under the prior. Our method does not require task-specific loss function designs, which are critical components for recent image editing methods based on GAN inversion. Compared to conditional GANs, we do not need to collect new datasets of original and edited images for new applications. Therefore, our method can quickly adapt to various editing tasks at test time without re-training models. Our approach achieves strong performance on a wide range of applications, including image synthesis and editing guided by stroke paintings and image compositing.