顔の復元は顔画像処理において重要であり、近年広く研究されています。ただし、以前の作品では、現実の低品質(LQ)の顔画像に対して、もっともらしい高品質(HQ)の結果を生成できないことがよくあります。この論文では、顔の復元のために、PSFR-GANという名前の新しいプログレッシブなセマンティック認識スタイル変換フレームワークを提案します。具体的には、以前の方法としてエンコーダーデコーダーフレームワークを使用する代わりに、セマンティックアウェアスタイル変換によるマルチスケールプログレッシブ復元手順として、LQ顔画像の復元を定式化します。 LQ顔画像とそれに対応する解析マップのペアが与えられた場合、最初に入力のマルチスケールピラミッドを生成し、次に、セマンティック認識スタイルの転送方法で粗から細までのさまざまなスケールフィーチャを徐々に変調します。以前のネットワークと比較して、提案されたPSFR-GANは、入力ペアの異なるスケールからのセマンティック(解析マップ)およびピクセル(LQ画像)空間情報をフルに活用します。さらに、セマンティック対応スタイルの損失をさらに導入し、各セマンティック領域の特徴スタイルの損失を個別に計算して、顔のテクスチャの詳細を改善します。最後に、実際のLQ顔画像からまともな解析マップを生成できる顔解析ネットワークを事前トレーニングします。実験結果は、合成データでトレーニングされたモデルが、合成LQ入力に対してより現実的な高解像度の結果を生成できるだけでなく、最新の方法と比較して自然なLQ顔画像に一般化できることを示しています。コードはhttps://github.com/chaofengc/PSFRGANで入手できます。
Face restoration is important in face image processing, and has been widely studied in recent years. However, previous works often fail to generate plausible high quality (HQ) results for real-world low quality (LQ) face images. In this paper, we propose a new progressive semantic-aware style transformation framework, named PSFR-GAN, for face restoration. Specifically, instead of using an encoder-decoder framework as previous methods, we formulate the restoration of LQ face images as a multi-scale progressive restoration procedure through semantic-aware style transformation. Given a pair of LQ face image and its corresponding parsing map, we first generate a multi-scale pyramid of the inputs, and then progressively modulate different scale features from coarse-to-fine in a semantic-aware style transfer way. Compared with previous networks, the proposed PSFR-GAN makes full use of the semantic (parsing maps) and pixel (LQ images) space information from different scales of input pairs. In addition, we further introduce a semantic aware style loss which calculates the feature style loss for each semantic region individually to improve the details of face textures. Finally, we pretrain a face parsing network which can generate decent parsing maps from real-world LQ face images. Experiment results show that our model trained with synthetic data can not only produce more realistic high-resolution results for synthetic LQ inputs and but also generalize better to natural LQ face images compared with state-of-the-art methods. Codes are available at https://github.com/chaofengc/PSFRGAN.