arXiv reaDer
SketchFFusion: 拡散モデルを使用したスケッチガイドによる画像編集
SketchFFusion: Sketch-guided image editing with diffusion model
スケッチガイドによる画像編集は、未編集領域の元の状態を維持しながら、ユーザーが提供するスケッチ情報に基づいて画像の局所的な微調整を実現することを目的としています。人間のスケッチを取得するにはコストがかかるため、以前の作業ではスケッチの代わりにエッジ マップに依存していましたが、スケッチにはより豊富な構造情報が含まれていました。この論文では、画像の主な輪郭を保存し、ユーザーが描いた実際のスケッチ スタイルに厳密に準拠できるスケッチ生成方式を提案します。同時に、現在の画像編集方法は、画像の歪み、トレーニング コスト、スケッチの細部の損失などの課題に直面することがよくあります。これらの制限に対処するために、スケッチ構造ベクトルに基づく条件付き拡散モデル (SketchFFusion) を提案します。モデルの生成パフォーマンスを評価し、既存の方法よりも優れていることを実証します。
Sketch-guided image editing aims to achieve local fine-tuning of the image based on the sketch information provided by the user, while maintaining the original status of the unedited areas. Due to the high cost of acquiring human sketches, previous works mostly relied on edge maps as a substitute for sketches, but sketches possess more rich structural information. In this paper, we propose a sketch generation scheme that can preserve the main contours of an image and closely adhere to the actual sketch style drawn by the user. Simultaneously, current image editing methods often face challenges such as image distortion, training cost, and loss of fine details in the sketch. To address these limitations, We propose a conditional diffusion model (SketchFFusion) based on the sketch structure vector. We evaluate the generative performance of our model and demonstrate that it outperforms existing methods.
updated: Tue Nov 14 2023 03:53:24 GMT+0000 (UTC)
published: Thu Apr 06 2023 15:54:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト