拡散モデルは、画像生成および画像編集において優れた結果を示しています。ただし、現在のアプローチは、高解像度生成のための拡散モデルのトレーニングの計算コストのために、低解像度に制限されています。事前にトレーニングされた低解像度拡散モデルを使用してメガピクセル範囲の画像を編集するアプローチを提案します。最初に Blended Diffusion を使用して低解像度で画像を編集し、次に超解像モデルと Blended Diffusion を使用して複数の段階でアップスケールします。私たちのアプローチを使用して、拡散モデルの出力に市販の超解像方法のみを適用するよりも高い視覚的忠実度を実現します。また、高解像度で拡散モデルを直接使用するよりも優れたグローバル一貫性が得られます。
Diffusion models have shown great results in image generation and in image editing. However, current approaches are limited to low resolutions due to the computational cost of training diffusion models for high-resolution generation. We propose an approach that uses a pre-trained low-resolution diffusion model to edit images in the megapixel range. We first use Blended Diffusion to edit the image at a low resolution, and then upscale it in multiple stages, using a super-resolution model and Blended Diffusion. Using our approach, we achieve higher visual fidelity than by only applying off the shelf super-resolution methods to the output of the diffusion model. We also obtain better global consistency than directly using the diffusion model at a higher resolution.