arXiv reaDer
StyleDiffusion: テキストベースの編集のためのプロンプト埋め込み反転
StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing
重要な研究努力は、画像編集用の事前トレーニング済み拡散モデルの驚くべき能力を活用することに焦点を当てています。モデルを微調整するか、事前トレーニング済みモデルの潜在空間で画像を反転します。ただし、これらには 2 つの問題があります。(1) 選択された領域で満足のいく結果が得られないことと、選択されていない領域で予想外の変化が発生することです。 (2) 入力画像内のすべてのビジュアル オブジェクトをプロンプトに含めるには、注意深いテキスト プロンプト編集が必要です。これに対処するために、2 つの改善点を提案します。(1) クロスアテンション層の値線形ネットワークの入力を最適化するだけで、実像を再構築するのに十分強力です。 (2) 編集後もオブジェクトのようなアテンション マップを保持するアテンションの正規化を提案し、大幅な構造変更を引き起こすことなく正確なスタイル編集を取得できるようにします。 P2P で使用される条件付き分岐だけでなく、分類子を使用しないガイダンスの無条件分岐に使用される編集技術をさらに改善します。さまざまな画像に対する広範な実験的な即時編集の結果は、私たちの方法が既存の並行作業よりも優れた編集機能を備えていることを定性的および定量的に示しています。
A significant research effort is focused on exploiting the amazing capacities of pretrained diffusion models for the editing of images. They either finetune the model, or invert the image in the latent space of the pretrained model. However, they suffer from two problems: (1) Unsatisfying results for selected regions, and unexpected changes in nonselected regions. (2) They require careful text prompt editing where the prompt should include all visual objects in the input image. To address this, we propose two improvements: (1) Only optimizing the input of the value linear network in the cross-attention layers, is sufficiently powerful to reconstruct a real image. (2) We propose attention regularization to preserve the object-like attention maps after editing, enabling us to obtain accurate style editing without invoking significant structural changes. We further improve the editing technique which is used for the unconditional branch of classifier-free guidance, as well as the conditional one as used by P2P. Extensive experimental prompt-editing results on a variety of images, demonstrate qualitatively and quantitatively that our method has superior editing capabilities than existing and concurrent works.
updated: Sun Aug 20 2023 11:58:44 GMT+0000 (UTC)
published: Tue Mar 28 2023 00:16:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト