超解像(SR)と小さな顔のランドマークローカリゼーションは、高度に相関するタスクです。一方で、ランドマークのローカリゼーションは、高解像度(HR)の顔でより高い精度を得ることができます。一方、顔SRは、ランドマークなどの顔の属性に関する事前知識から恩恵を受けます。したがって、顔のランドマークを同時に検出し、小さな顔を超解像するために、ジョイントアライメントとSRネットワークを提案します。より具体的には、補足的な情報を活用して、両方のタスクの機能を抽出するために、共有ディープエンコーダーが適用されます。階層エンコーダの代表的な能力を活用するために、共有フィーチャ抽出モジュールの中間層が融合されて、効率的なフィーチャ表現が形成されます。融合された機能は、タスク固有のモジュールに送られ、ランドマークを検出し、並行して顔画像を超解像します。広範な実験により、提案されたモデルは、ランドマークの位置特定と顔のSRの両方で最先端技術を大幅に上回ることが実証されています。小さな顔(つまり、16 * 16)のランドマークローカライズの大幅な改善を示しています。さらに、提案されたフレームワークは、低解像度(LR)顔(つまり、64 * 64)のランドマークのローカリゼーションについて、HR(つまり、256 * 256)の既存の方法に匹敵する結果をもたらします。 SRに関しては、提案された方法は、他の最先端の方法よりもシャープなエッジとより多くの詳細をLR顔画像から回復します。
Super-resolution (SR) and landmark localization of tiny faces are highly correlated tasks. On the one hand, landmark localization could obtain higher accuracy with faces of high-resolution (HR). On the other hand, face SR would benefit from prior knowledge of facial attributes such as landmarks. Thus, we propose a joint alignment and SR network to simultaneously detect facial landmarks and super-resolve tiny faces. More specifically, a shared deep encoder is applied to extract features for both tasks by leveraging complementary information. To exploit the representative power of the hierarchical encoder, intermediate layers of a shared feature extraction module are fused to form efficient feature representations. The fused features are then fed to task-specific modules to detect landmarks and super-resolve face images in parallel. Extensive experiments demonstrate that the proposed model significantly outperforms the state-of-the-art in both landmark localization and SR of faces. We show a large improvement for landmark localization of tiny faces (i.e., 16*16). Furthermore, the proposed framework yields comparable results for landmark localization on low-resolution (LR) faces (i.e., 64*64) to existing methods on HR (i.e., 256*256). As for SR, the proposed method recovers sharper edges and more details from LR face images than other state-of-the-art methods, which we demonstrate qualitatively and quantitatively.