arXiv reaDer
HiFaceGAN:共同の抑制と補充による顔のリフォーム
HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment
 既存の顔の修復研究は、通常、劣化の事前または明示的なトレーニングラベルに依存します。これにより、多くの場合、不均一な劣化と豊富な背景コンテンツを含む実世界の画像に対して一般化機能が制限されます。このホワイトペーパーでは、「顔の改修」(FR)と呼ばれる以前の両方のタイプの要件を解除することにより、問題のより困難で実用的な「デュアルブラインド」バージョンを調査します。具体的には、FRを意味誘導生成問題として定式化し、協調的抑制および補充(CSR)アプローチでそれに取り組みます。これはHiFaceGANにつながります。HiFaceGANは、フロントエンドのコンテンツ適応抑制モジュールから抽出された階層的な意味ガイダンスに基づいて、顔の詳細を徐々に補充するいくつかのネストされたCSRユニットを含むマルチステージフレームワークです。合成画像と実際の顔画像の両方での広範な実験により、HiFaceGANの優れたパフォーマンスが幅広い復元サブタスクにわたって検証され、現実世界の顔処理アプリケーションに対するその汎用性、堅牢性、および汎化能力が実証されました。
Existing face restoration researches typically relies on either the degradation prior or explicit guidance labels for training, which often results in limited generalization ability over real-world images with heterogeneous degradations and rich background contents. In this paper, we investigate the more challenging and practical "dual-blind" version of the problem by lifting the requirements on both types of prior, termed as "Face Renovation"(FR). Specifically, we formulated FR as a semantic-guided generation problem and tackle it with a collaborative suppression and replenishment (CSR) approach. This leads to HiFaceGAN, a multi-stage framework containing several nested CSR units that progressively replenish facial details based on the hierarchical semantic guidance extracted from the front-end content-adaptive suppression modules. Extensive experiments on both synthetic and real face images have verified the superior performance of HiFaceGAN over a wide range of challenging restoration subtasks, demonstrating its versatility, robustness and generalization ability towards real-world face processing applications.
updated: Sat May 22 2021 12:12:36 GMT+0000 (UTC)
published: Mon May 11 2020 11:33:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト