スケッチベースの画像操作は、ユーザーからの入力スケッチに基づいて画像を変更するためのインタラクティブな画像編集タスクです。既存の方法では通常、このタスクを条件付き修復問題として定式化します。これには、スケッチに加えて、変更する領域を示す追加のマスクを描画する必要があります。マスクされた領域は穴と見なされ、スケッチを条件とする修復モデルによって埋められます。この定式化により、マスクをランダムに作成し、エッジまたは輪郭を抽出することで、ペアのトレーニングデータを簡単に取得できます。この設定により、データの準備とモデルの設計が簡素化されますが、ユーザーの操作が複雑になり、マスクされた領域の有用な情報が破棄されます。この目的のために、スケッチベースの画像操作の新しいパラダイムを調査します。マスクフリーのローカル画像操作です。これは、ユーザーからのスケッチ入力のみを必要とし、元の画像全体を利用します。画像とスケッチが与えられると、モデルはターゲットの変更領域を自動的に予測し、それを構造にとらわれないスタイルのベクトルにエンコードします。次に、ジェネレーターは、スタイルベクトルとスケッチに基づいて新しい画像コンテンツを合成します。操作された画像は、ジェネレータの出力を元の画像の修正領域にブレンドすることによって最終的に生成されます。私たちのモデルは、スタイルベクトルとスケッチから画像領域の再構成を学習することにより、自己監視方式でトレーニングできます。提案された方法は、スケッチベースの画像操作のためのより単純でより直感的なユーザーワークフローを提供し、以前のアプローチよりも優れた結果を提供します。その他の結果、コード、インタラクティブデモは、https://zengxianyu.github.io/sketcheditで入手できます。
Sketch-based image manipulation is an interactive image editing task to modify an image based on input sketches from users. Existing methods typically formulate this task as a conditional inpainting problem, which requires users to draw an extra mask indicating the region to modify in addition to sketches. The masked regions are regarded as holes and filled by an inpainting model conditioned on the sketch. With this formulation, paired training data can be easily obtained by randomly creating masks and extracting edges or contours. Although this setup simplifies data preparation and model design, it complicates user interaction and discards useful information in masked regions. To this end, we investigate a new paradigm of sketch-based image manipulation: mask-free local image manipulation, which only requires sketch inputs from users and utilizes the entire original image. Given an image and sketch, our model automatically predicts the target modification region and encodes it into a structure agnostic style vector. A generator then synthesizes the new image content based on the style vector and sketch. The manipulated image is finally produced by blending the generator output into the modification region of the original image. Our model can be trained in a self-supervised fashion by learning the reconstruction of an image region from the style vector and sketch. The proposed method offers simpler and more intuitive user workflows for sketch-based image manipulation and provides better results than previous approaches. More results, code and interactive demo will be available at https://zengxianyu.github.io/sketchedit.