arXiv reaDer
自然画像のテキスト駆動編集のための混合拡散
Blended Diffusion for Text-driven Editing of Natural Images
自然言語は、画像編集のための非常に直感的なインターフェースを提供します。このホワイトペーパーでは、ROIマスクとともに自然言語の説明に基づいて、一般的な自然画像でローカル(領域ベース)編集を実行するための最初のソリューションを紹介します。事前にトレーニングされた言語画像モデル(CLIP)を活用および組み合わせて、ユーザー提供のテキストプロンプトに向けて編集を進め、ノイズ除去拡散確率モデル(DDPM)を使用して、自然な外観の結果を生成することで、目標を達成します。編集された領域を画像の変更されていない部分とシームレスに融合するために、入力画像のノイズバージョンを、ノイズレベルの進行に潜むローカルテキストガイド拡散と空間的にブレンドします。さらに、拡散プロセスに拡張を追加すると、敵対的な結果が軽減されることを示します。いくつかのベースラインおよび関連する方法と定性的および定量的に比較し、全体的なリアリズム、背景を保持する能力、およびテキストの一致の点で、私たちの方法がこれらのソリューションよりも優れていることを示します。最後に、画像への新しいオブジェクトの追加、既存のオブジェクトの削除/置換/変更、背景の置換、画像の外挿など、いくつかのテキスト駆動型編集アプリケーションを示します。
Natural language offers a highly intuitive interface for image editing. In this paper, we introduce the first solution for performing local (region-based) edits in generic natural images, based on a natural language description along with an ROI mask. We achieve our goal by leveraging and combining a pretrained language-image model (CLIP), to steer the edit towards a user-provided text prompt, with a denoising diffusion probabilistic model (DDPM) to generate natural-looking results. To seamlessly fuse the edited region with the unchanged parts of the image, we spatially blend noised versions of the input image with the local text-guided diffusion latent at a progression of noise levels. In addition, we show that adding augmentations to the diffusion process mitigates adversarial results. We compare against several baselines and related methods, both qualitatively and quantitatively, and show that our method outperforms these solutions in terms of overall realism, ability to preserve the background and matching the text. Finally, we show several text-driven editing applications, including adding a new object to an image, removing/replacing/altering existing objects, background replacement, and image extrapolation.
updated: Mon Nov 29 2021 18:58:49 GMT+0000 (UTC)
published: Mon Nov 29 2021 18:58:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト