arXiv reaDer
局所的な弱い特徴センシングと GAN Prior を使用して、さまざまなポーズの顔復元の品質を向上
Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior
顔のセマンティック ガイダンス (顔のランドマーク、顔のヒートマップ、顔解析マップを含む) と顔の敵対的生成ネットワーク (GAN) は、近年ブラインド顔修復 (BFR) で広く使用されてきました。既存の BFR 手法は通常のケースでは良好なパフォーマンスを達成していますが、これらのソリューションは、現実世界のシナリオで深刻な劣化があり、ポーズが変化する (右を向いている、左を向いている、笑っているなど) 顔画像に適用すると回復力が限られています。この研究では、生成的な顔の事前処理を使用して、適切に設計されたブラインド顔復元ネットワークを提案します。提案されたネットワークは、主に非対称コーデックと StyleGAN2 従来のネットワークで構成されます。非対称コーデックでは、混合マルチパス残差ブロック (MMRB) を採用して、入力画像の弱いテクスチャ特徴を徐々に抽出します。これにより、元の顔の特徴をよりよく保存し、過度のファンタジーを回避できます。 MMRB は、他のネットワークでもプラグ アンド プレイで使用できます。さらに、StyleGAN2 モデルの豊富で多様な顔事前分布のおかげで、提案手法の主要な生成ネットワークとしてこれを採用し、分布をターゲットに近づけて柔軟に自然な顔の事前分布を復元する新しい自己教師ありトレーニング戦略を特別に設計します。リアルな顔の詳細。合成データセットと現実世界のデータセットに関する広範な実験により、私たちのモデルが顔の復元と顔の超解像度タスクに関して従来技術よりも優れたパフォーマンスを発揮することが実証されました。
Facial semantic guidance (including facial landmarks, facial heatmaps, and facial parsing maps) and facial generative adversarial networks (GAN) prior have been widely used in blind face restoration (BFR) in recent years. Although existing BFR methods have achieved good performance in ordinary cases, these solutions have limited resilience when applied to face images with serious degradation and pose-varied (e.g., looking right, looking left, laughing, etc.) in real-world scenarios. In this work, we propose a well-designed blind face restoration network with generative facial prior. The proposed network is mainly comprised of an asymmetric codec and a StyleGAN2 prior network. In the asymmetric codec, we adopt a mixed multi-path residual block (MMRB) to gradually extract weak texture features of input images, which can better preserve the original facial features and avoid excessive fantasy. The MMRB can also be plug-and-play in other networks. Furthermore, thanks to the affluent and diverse facial priors of the StyleGAN2 model, we adopt it as the primary generator network in our proposed method and specially design a novel self-supervised training strategy to fit the distribution closer to the target and flexibly restore natural and realistic facial details. Extensive experiments on synthetic and real-world datasets demonstrate that our model performs superior to the prior art for face restoration and face super-resolution tasks.
updated: Thu Jun 15 2023 02:24:58 GMT+0000 (UTC)
published: Sat May 28 2022 09:23:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト