顔の超解像 (FSR) タスクは、低解像度の入力から高解像度の顔画像を再構築することです。最近の作品は、顔のランドマークなどの顔の事前分布を利用することにより、このタスクで成功を収めています。ほとんどの既存の方法は、グローバルな形状と構造の情報により注意を払っていますが、ローカルのテクスチャ情報にはあまり注意を払っていないため、ローカルの詳細をうまく復元できません。この論文では、グローバル形状とローカルテクスチャ情報の両方を徐々に導入する、顔の超解像のための新しい再帰型畳み込みネットワークベースのフレームワークを提案します。リカレント ネットワークの中間出力を最大限に活用し、ランドマーク情報と顔アクション ユニット (AU) 情報は、低解像度の入力ではなく、それぞれ 1 番目と 2 番目のステップの出力で抽出されます。さらに、顔の詳細を復元するための新しい定量的指標として AU 分類結果を導入しました。広範な実験により、提案された方法は、画質と顔の詳細の復元に関して、最先端のFSR方法よりも大幅に優れていることが示されています。
The face super-resolution (FSR) task is to reconstruct high-resolution face images from low-resolution inputs. Recent works have achieved success on this task by utilizing facial priors such as facial landmarks. Most existing methods pay more attention to global shape and structure information, but less to local texture information, which makes them cannot recover local details well. In this paper, we propose a novel recurrent convolutional network based framework for face super-resolution, which progressively introduces both global shape and local texture information. We take full advantage of the intermediate outputs of the recurrent network, and landmarks information and facial action units (AUs) information are extracted in the output of the first and second steps respectively, rather than low-resolution input. Moreover, we introduced AU classification results as a novel quantitative metric for facial details restoration. Extensive experiments show that our proposed method significantly outperforms state-of-the-art FSR methods in terms of image quality and facial details restoration.