arXiv reaDer
近接ガイダンスによるチューニング不要の実画像編集の改善
Improving Tuning-Free Real Image Editing with Proximal Guidance
DDIM 反転により、拡散ベースの方法における実画像編集の顕著な可能性が明らかになりました。ただし、拡張編集に使用される分類子なしガイダンス (CFG) スケールが大きくなると、DDIM 再構成の精度が低下します。ヌルテキスト反転 (NTI) は、ヌル埋め込みを最適化して、再構成と反転の軌跡をより大きな CFG スケールに合わせて調整し、クロスアテンション制御による実イメージ編集を可能にします。さらに、ネガティブ プロンプト反転 (NPI) は、トレーニング不要の閉じた形式の NTI ソリューションを提供します。ただし、アーティファクトが発生する可能性があり、DDIM 再構成の品質によって依然として制約されます。これらの制限を克服するために、我々は近接ガイダンスを提案し、それを交差注意制御を備えた NPI に組み込みます。正則化項と再構成ガイダンスを使用して NPI を強化します。これにより、トレーニング不要の性質を利用しながらアーティファクトが削減されます。さらに、相互注意制御を組み込むために概念を拡張し、編集プロセスでのジオメトリとレイアウトの変更を可能にします。私たちの方法は効率的で簡単なアプローチを提供し、最小限の計算オーバーヘッドで実際の画像編集タスクに効果的に対処します。
DDIM inversion has revealed the remarkable potential of real image editing within diffusion-based methods. However, the accuracy of DDIM reconstruction degrades as larger classifier-free guidance (CFG) scales being used for enhanced editing. Null-text inversion (NTI) optimizes null embeddings to align the reconstruction and inversion trajectories with larger CFG scales, enabling real image editing with cross-attention control. Negative-prompt inversion (NPI) further offers a training-free closed-form solution of NTI. However, it may introduce artifacts and is still constrained by DDIM reconstruction quality. To overcome these limitations, we propose proximal guidance and incorporate it to NPI with cross-attention control. We enhance NPI with a regularization term and reconstruction guidance, which reduces artifacts while capitalizing on its training-free nature. Additionally, we extend the concepts to incorporate mutual self-attention control, enabling geometry and layout alterations in the editing process. Our method provides an efficient and straightforward approach, effectively addressing real image editing tasks with minimal computational overhead.
updated: Thu Jul 06 2023 01:40:21 GMT+0000 (UTC)
published: Thu Jun 08 2023 17:57:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト