arXiv reaDer
JDSR-GAN:仮面超解像のための効率的な共同学習ネットワークの構築
JDSR-GAN: Constructing An Efficient Joint Learning Network for Masked Face Super-Resolution
COVID-19 ウイルスを防止する重要性が高まる中、ほとんどのビデオ監視シナリオで取得される顔画像は、マスクと同時に低解像度になっています。ただし、以前の顔の超解像ソリューションのほとんどは、1 つのモデルで両方のタスクを処理できません。この作業では、マスク オクルージョンを画像ノイズとして扱い、マスクされた顔の超解像タスクのために、JDSR-GAN と呼ばれる共同学習ネットワークを構築します。マスク付きの低品質の顔画像を入力として、ノイズ除去モジュールと超解像モジュールで構成されるジェネレーターの役割は、高品質で高解像度の顔画像を取得することです。弁別器は、慎重に設計されたいくつかの損失関数を利用して、復元された顔画像の品質を保証します。さらに、実行可能な相関機能の表現と有益な機能の学習のために、アイデンティティ情報と注意メカニズムをネットワークに組み込みます。ノイズ除去と顔の超解像を一緒に実行することで、2 つのタスクは互いに補完し合い、有望なパフォーマンスを達成できます。広範な定性的および定量的な結果は、提案されたJDSR-GANが、前の2つのタスクを別々に実行するいくつかの同等の方法よりも優れていることを示しています。
With the growing importance of preventing the COVID-19 virus, face images obtained in most video surveillance scenarios are low resolution with mask simultaneously. However, most of the previous face super-resolution solutions can not handle both tasks in one model. In this work, we treat the mask occlusion as image noise and construct a joint and collaborative learning network, called JDSR-GAN, for the masked face super-resolution task. Given a low-quality face image with the mask as input, the role of the generator composed of a denoising module and super-resolution module is to acquire a high-quality high-resolution face image. The discriminator utilizes some carefully designed loss functions to ensure the quality of the recovered face images. Moreover, we incorporate the identity information and attention mechanism into our network for feasible correlated feature expression and informative feature learning. By jointly performing denoising and face super-resolution, the two tasks can complement each other and attain promising performance. Extensive qualitative and quantitative results show the superiority of our proposed JDSR-GAN over some comparable methods which perform the previous two tasks separately.
updated: Mon Jan 30 2023 01:49:35 GMT+0000 (UTC)
published: Thu Mar 25 2021 08:50:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト