arXiv reaDer
LinesToFacePhoto: Face Photo Generation from Lines with Conditional Self-Attention Generative Adversarial Network
  この論文では、線から写真のようにリアルな顔画像を生成するタスクを探ります。条件付き生成的敵対ネットワーク(cGAN)に基づく以前の方法は、条件付き画像と出力画像が適切に整列した構造を共有するときに視覚的にもっともらしい画像を生成する能力を示しました。ただし、これらのモデルでは、明確に定義された構造のセット全体で顔画像を合成できません。目、鼻、口など、特に条件付きラインマップに1つまたは複数の部分がない場合。この問題に対処するには、条件付き自己注意生成的敵対ネットワーク(CSAGAN)を提案します。顔の異なる領域間の長距離依存性をキャプチャするために、条件付き自己注意メカニズムをcGANに導入します。また、マルチスケール弁別器も構築します。大規模な弁別器はグローバルな構造の完全性を強化し、小規模な弁別器は細かいディテールを促進し、それによって生成される顔画像のリアリズムを向上させます。 CelebA-HDデータセットで提案されたモデルを、2つの知覚ユーザー調査と3つの定量的指標によって評価します。実験結果は、本手法が顔の構造を維持しながら高品質の顔画像を生成することを示しています。私たちの結果は、定量的にも定性的にも最先端の方法よりも優れています。
In this paper, we explore the task of generating photo-realistic face images from lines. Previous methods based on conditional generative adversarial networks (cGANs) have shown their power to generate visually plausible images when a conditional image and an output image share well-aligned structures. However, these models fail to synthesize face images with a whole set of well-defined structures, e.g. eyes, noses, mouths, etc., especially when the conditional line map lacks one or several parts. To address this problem, we propose a conditional self-attention generative adversarial network (CSAGAN). We introduce a conditional self-attention mechanism to cGANs to capture long-range dependencies between different regions in faces. We also build a multi-scale discriminator. The large-scale discriminator enforces the completeness of global structures and the small-scale discriminator encourages fine details, thereby enhancing the realism of generated face images. We evaluate the proposed model on the CelebA-HD dataset by two perceptual user studies and three quantitative metrics. The experiment results demonstrate that our method generates high-quality facial images while preserving facial structures. Our results outperform state-of-the-art methods both quantitatively and qualitatively.
updated: Sun Oct 20 2019 07:05:24 GMT+0000 (UTC)
published: Sun Oct 20 2019 07:05:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト