顔の超解像(SR)は、特に顔画像の再構成を対象とするSRドメインのサブフィールドです。顔SRの主な課題は、歪みのない重要な顔の特徴を復元することです。完全に保持された顔の詳細を備えたフォトリアリスティックな8倍の超解像顔画像を生成する新しい顔SR法を提案します。そのために、ネットワークを連続したステップに分割し、それぞれが段階的に高い解像度で出力を生成することにより、安定したトレーニングを可能にするプログレッシブトレーニング方法を採用しています。また、新しい顔の注意喪失を提案し、各ステップでそれを適用して、ピクセル差とヒートマップ値を乗算することにより、顔の属性をより詳細に復元することに焦点を当てます。最後に、ランドマークヒートマップ抽出のための最先端の顔整列ネットワーク(FAN)の圧縮バージョンを提案します。提案されたFANを使用すると、顔のSRに適したヒートマップを抽出でき、全体的なトレーニング時間も短縮できます。実験結果は、特に知覚品質において、定性的および定量的測定の両方で、本手法が最先端の手法より優れていることを検証しています。
Face Super-Resolution (SR) is a subfield of the SR domain that specifically targets the reconstruction of face images. The main challenge of face SR is to restore essential facial features without distortion. We propose a novel face SR method that generates photo-realistic 8x super-resolved face images with fully retained facial details. To that end, we adopt a progressive training method, which allows stable training by splitting the network into successive steps, each producing output with a progressively higher resolution. We also propose a novel facial attention loss and apply it at each step to focus on restoring facial attributes in greater details by multiplying the pixel difference and heatmap values. Lastly, we propose a compressed version of the state-of-the-art face alignment network (FAN) for landmark heatmap extraction. With the proposed FAN, we can extract the heatmaps suitable for face SR and also reduce the overall training time. Experimental results verify that our method outperforms state-of-the-art methods in both qualitative and quantitative measurements, especially in perceptual quality.