arXiv reaDer
StyleGAN2を使用したテキストから顔への生成
Text-to-Face Generation with StyleGAN2
テキストの説明から画像を合成することは、Generative Adversarial Networksの出現により、活発な研究分野になりました。ここでの主な目標は、入力された説明に沿った写真のようにリアルな画像を生成することです。 Text-to-Face生成(T2F)は、Text-to-Image生成(T2I)のサブドメインであり、顔の属性の複雑さと変化のために、より困難です。それは主に公安の領域で多くのアプリケーションを持っています。 T2Fにはいくつかのモデルがありますが、画質とセマンティックアラインメントを改善する必要があります。この研究では、入力された説明とよく一致する顔画像を生成するための新しいフレームワークを提案します。私たちのフレームワークは、高解像度の顔ジェネレーターであるStyleGAN2を利用し、T2Fでの使用の可能性を探っています。ここでは、BERT埋め込みを使用してStyleGAN2の入力潜在空間にテキストを埋め込み、テキストの説明を使用して顔画像の生成を監視します。解像度1024x1024の画像を生成するために、属性ベースの記述でフレームワークをトレーニングしました。生成された画像は、グラウンドトゥルース画像と57%の類似性を示し、顔の意味距離は0.92であり、最先端の作品を上回っています。生成された画像のFIDスコアは118.097であり、実験結果は、モデルが有望な画像を生成することを示しています。
Synthesizing images from text descriptions has become an active research area with the advent of Generative Adversarial Networks. The main goal here is to generate photo-realistic images that are aligned with the input descriptions. Text-to-Face generation (T2F) is a sub-domain of Text-to-Image generation (T2I) that is more challenging due to the complexity and variation of facial attributes. It has a number of applications mainly in the domain of public safety. Even though several models are available for T2F, there is still the need to improve the image quality and the semantic alignment. In this research, we propose a novel framework, to generate facial images that are well-aligned with the input descriptions. Our framework utilizes the high-resolution face generator, StyleGAN2, and explores the possibility of using it in T2F. Here, we embed text in the input latent space of StyleGAN2 using BERT embeddings and oversee the generation of facial images using text descriptions. We trained our framework on attribute-based descriptions to generate images of 1024x1024 in resolution. The images generated exhibit a 57% similarity to the ground truth images, with a face semantic distance of 0.92, outperforming state-of-the-artwork. The generated images have a FID score of 118.097 and the experimental results show that our model generates promising images.
updated: Wed May 25 2022 06:02:01 GMT+0000 (UTC)
published: Wed May 25 2022 06:02:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト