COVID-19ウイルスを予防することの重要性が増すにつれて、ほとんどのビデオ監視シナリオで取得される顔画像は、マスクと同時に低解像度になります。ただし、これまでの顔の超解像ソリューションのほとんどは、1つのモデルで両方のタスクを処理することはできません。この作業では、マスクのオクルージョンを画像ノイズとして扱い、マスクされた顔の超解像タスクのために、JDSR-GANと呼ばれる共同学習ネットワークを構築します。マスクを入力とした低品質の顔画像を考えると、ノイズ除去モジュールと超解像モジュールで構成されるジェネレータの役割は、高品質の高解像度の顔画像を取得することです。弁別器は、いくつかの注意深く設計された損失関数を利用して、復元された顔画像の品質を保証します。さらに、アイデンティティ情報と注意メカニズムをネットワークに組み込んで、実現可能な相関特徴表現と有益な特徴学習を実現します。ノイズ除去と超解像に直面することを共同で実行することにより、2つのタスクは互いに補完し合い、有望なパフォーマンスを達成できます。広範な定性的および定量的結果は、前の2つのタスクを別々に実行するいくつかの同等の方法に対する提案されたJDSR-GANの優位性を示しています。
With the growing importance of preventing the COVID-19 virus, face images obtained in most video surveillance scenarios are low resolution with mask simultaneously. However, most of the previous face super-resolution solutions can not handle both tasks in one model. In this work, we treat the mask occlusion as image noise and construct a joint and collaborative learning network, called JDSR-GAN, for the masked face super-resolution task. Given a low-quality face image with the mask as input, the role of the generator composed of a denoising module and super-resolution module is to acquire a high-quality high-resolution face image. The discriminator utilizes some carefully designed loss functions to ensure the quality of the recovered face images. Moreover, we incorporate the identity information and attention mechanism into our network for feasible correlated feature expression and informative feature learning. By jointly performing denoising and face super-resolution, the two tasks can complement each other and attain promising performance. Extensive qualitative and quantitative results show the superiority of our proposed JDSR-GAN over some comparable methods which perform the previous two tasks separately.