arXiv reaDer
FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning
 低解像度とオクルージョンを含む組み合わせたバリエーションは、たとえばビデオ監視のシナリオの下で、野生の顔画像にしばしば存在します。既存の顔画像回復アプローチのほとんどは、モデルごとに1つのタイプの変動しか処理できないが、この作業では、マルチタスク学習による共同顔完成と顔超解像を実行するための深い生成的敵対ネットワーク(FCSR-GAN)を提案する。 FCSR-GANのジェネレータは、オクルージョンのある入力低解像度顔画像が与えられた場合、オクルージョンなしで高解像度顔画像を復元することを目的としています。 FCSR-GANの弁別者は、慎重に設計された一連の損失(敵対的損失、知覚的損失、ピクセル損失、スムーズな損失、スタイル損失、顔の事前損失)を使用して、復元された高品質を保証します。オクルージョンのない解像度の顔画像。 FCSR-GANのネットワーク全体は、2段階のトレーニング戦略を使用してエンドツーエンドでトレーニングできます。パブリックドメインのCelebAおよびHelenデータベースの実験結果は、提案されたアプローチが、顔の超解像(最大8×)と顔の完成を共同で実行する際に最先端の方法より優れていることを示し、クロスでの良好な一般化能力を示しています-データベースのテスト。 FCSR-GANは、顔画像に低解像度とオクルージョンがある場合の顔識別パフォーマンスの改善にも役立ちます。
Combined variations containing low-resolution and occlusion often present in face images in the wild, e.g., under the scenario of video surveillance. While most of the existing face image recovery approaches can handle only one type of variation per model, in this work, we propose a deep generative adversarial network (FCSR-GAN) for performing joint face completion and face super-resolution via multi-task learning. The generator of FCSR-GAN aims to recover a high-resolution face image without occlusion given an input low-resolution face image with occlusion. The discriminator of FCSR-GAN uses a set of carefully designed losses (an adversarial loss, a perceptual loss, a pixel loss, a smooth loss, a style loss, and a face prior loss) to assure the high quality of the recovered high-resolution face images without occlusion. The whole network of FCSR-GAN can be trained end-to-end using our two-stage training strategy. Experimental results on the public-domain CelebA and Helen databases show that the proposed approach outperforms the state-of-the-art methods in jointly performing face super-resolution (up to 8 ×) and face completion, and shows good generalization ability in cross-database testing. Our FCSR-GAN is also useful for improving face identification performance when there are low-resolution and occlusion in face images.
updated: Mon Nov 04 2019 06:35:30 GMT+0000 (UTC)
published: Mon Nov 04 2019 06:35:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト