顔の修復は、破損した領域内の顔画像の欠落ピクセルをもっともらしく予測することを目的としています。既存の方法のほとんどは、大きなデータセットから顔画像の分布を学習する生成モデルに依存しており、特に大規模な欠落領域では制御不能な結果が生じます。顔修復の強力な制御を導入するために、参照顔画像によって導かれるアイデンティティとテクスチャ制御で大規模な欠落領域を埋める、新しい参照ガイド付き顔修復方法を提案します。ただし、2 つの制御信号を課して高品質の結果を生成することは困難です。このような困難に対処するために、参照画像を 2 つのレベルに分離して柔軟に制御するデュアル コントロール 1 段階フレームワークを提案します。高レベルのアイデンティティ情報と低レベルのテクスチャ情報です。テクスチャ情報は、コンポーネント対応テクスチャを表します。高品質の結果を合成するために、Half-AdaIN および Component-Wise Style Injector (CWSI) と呼ばれる 2 つの新しいモジュールを設計して、2 種類の制御情報を修復処理に注入します。私たちの方法は、参照画像に忠実なアイデンティティとテクスチャ制御で現実的な結果を生み出します。私たちの知る限りでは、より正確で制御可能な結果を約束するために、顔の修復にアイデンティティとコンポーネントレベルの制御を同時に適用するのは初めての作業です。コードは https://github.com/WuyangLuo/RefFaceInpainting で入手できます
Face inpainting aims at plausibly predicting missing pixels of face images within a corrupted region. Most existing methods rely on generative models learning a face image distribution from a big dataset, which produces uncontrollable results, especially with large-scale missing regions. To introduce strong control for face inpainting, we propose a novel reference-guided face inpainting method that fills the large-scale missing region with identity and texture control guided by a reference face image. However, generating high-quality results under imposing two control signals is challenging. To tackle such difficulty, we propose a dual control one-stage framework that decouples the reference image into two levels for flexible control: High-level identity information and low-level texture information, where the identity information figures out the shape of the face and the texture information depicts the component-aware texture. To synthesize high-quality results, we design two novel modules referred to as Half-AdaIN and Component-Wise Style Injector (CWSI) to inject the two kinds of control information into the inpainting processing. Our method produces realistic results with identity and texture control faithful to reference images. To the best of our knowledge, it is the first work to concurrently apply identity and component-level controls in face inpainting to promise more precise and controllable results. Code is available at https://github.com/WuyangLuo/RefFaceInpainting