arXiv reaDer
局所的な弱い特徴の検知と事前のGANによるポーズ変化した顔の復元の品質の向上
Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior
顔のセマンティックガイダンス(顔のランドマーク、顔の解析マップ、顔のヒートマップなど)および顔の生成的敵対的ネットワーク(GAN)は、近年、ブラインドフェイス復元(BFR)で広く使用されています。既存のBFR手法は通常の場合に良好なパフォーマンスを達成しましたが、これらのソリューションは、実際のシナリオで深刻な劣化とポーズの変化(見上げる、見下ろす、笑うなど)のある顔画像に適用した場合の復元力が制限されます。この作業では、生成的な顔の事前設定を使用して、適切に設計されたブラインドフェイス復元ネットワークを提案します。提案されたネットワークは、主に非対称コーデックとStyleGAN2以前のネットワークで構成されています。非対称コーデックでは、混合マルチパス残差ブロック(MMRB)を採用して、入力画像の弱いテクスチャ特徴を徐々に抽出します。これにより、ネットワークのテクスチャの整合性と信頼性を向上させることができます。さらに、MMRBブロックは、他のネットワークでもプラグアンドプレイできます。さらに、新しい自己監視トレーニング戦略は、顔の修復タスクのために特別に設計されており、分布をターゲットに近づけ、トレーニングの安定性を維持します。合成データセットと実世界のデータセットに対する広範な実験により、私たちのモデルは、顔の復元と顔の超解像タスクに関して従来技術よりも優れたパフォーマンスを達成し、さまざまなポーズと表現で深刻に劣化した顔画像に取り組むことができることが示されています。
Facial semantic guidance (facial landmarks, facial parsing maps, facial heatmaps, etc.) and facial generative adversarial networks (GAN) prior have been widely used in blind face restoration (BFR) in recent years. Although existing BFR methods have achieved good performance in ordinary cases, these solutions have limited resilience when applied to face images with serious degradation and pose-varied (look up, look down, laugh, etc.) in real-world scenarios. In this work, we propose a well-designed blind face restoration network with generative facial prior. The proposed network is mainly comprised of an asymmetric codec and StyleGAN2 prior network. In the asymmetric codec, we adopt a mixed multi-path residual block (MMRB) to gradually extract weak texture features of input images, which can improve the texture integrity and authenticity of our networks. Furthermore, the MMRB block can also be plug-and-play in any other network. Besides, a novel self-supervised training strategy is specially designed for face restoration tasks to fit the distribution closer to the target and maintain training stability. Extensive experiments over synthetic and real-world datasets demonstrate that our model achieves superior performance to the prior art for face restoration and face super-resolution tasks and can tackle seriously degraded face images in diverse poses and expressions.
updated: Sat May 28 2022 09:23:48 GMT+0000 (UTC)
published: Sat May 28 2022 09:23:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト