スケッチからポートレートへの生成の研究トピックは、ディープラーニング技術の進歩を目撃しています。最近提案されたStyleGANアーキテクチャは、最先端の生成機能を実現しますが、元のStyleGANは、無条件の生成の性質のため、スケッチベースの作成には適していません。この問題に対処するために、StyleGANフレームワークの下で空間情報をより適切に保存するための直接条件付け戦略を提案します。具体的には、Spatially Conditioned StyleGAN(略してSC-StyleGAN)を導入します。これは、元のStyleGAN生成プロセスに空間制約を明示的に注入します。スケッチとセマンティックマップの2つの入力モダリティを検討します。これらを組み合わせることで、ユーザーは目的の生成結果をより正確かつ簡単に表現できます。 SC-StyleGANに基づいて、DrawingInStylesを紹介します。これは、プロではないユーザー向けの新しい描画インターフェイスであり、ゼロから、または既存の画像を編集して、正確な制御で高品質で写実的な顔画像を簡単に作成できます。定性的および定量的評価は、既存および代替ソリューションよりも優れた生成能力を示しています。私たちのシステムの使いやすさと表現力は、ユーザー調査によって確認されています。
The research topic of sketch-to-portrait generation has witnessed a boost of progress with deep learning techniques. The recently proposed StyleGAN architectures achieve state-of-the-art generation ability but the original StyleGAN is not friendly for sketch-based creation due to its unconditional generation nature. To address this issue, we propose a direct conditioning strategy to better preserve the spatial information under the StyleGAN framework. Specifically, we introduce Spatially Conditioned StyleGAN (SC-StyleGAN for short), which explicitly injects spatial constraints to the original StyleGAN generation process. We explore two input modalities, sketches and semantic maps, which together allow users to express desired generation results more precisely and easily. Based on SC-StyleGAN, we present DrawingInStyles, a novel drawing interface for non-professional users to easily produce high-quality, photo-realistic face images with precise control, either from scratch or editing existing ones. Qualitative and quantitative evaluations show the superior generation ability of our method to existing and alternative solutions. The usability and expressiveness of our system are confirmed by a user study.