2つの異なるドメインの特徴を統合する画像を合成するためのセグメンテーションガイド付きアプローチを紹介します。デュアルドメインモデルによって合成された画像は、セマンティックマスク内の1つのドメインに属し、画像の残りの部分では別のドメインに属し、スムーズに統合されます。数ショットのStyleGANとシングルショットのセマンティックセグメンテーションの成功に基づいて、2つのドメインを利用するために必要なトレーニングの量を最小限に抑えます。この方法は、数ショットのクロスドメインStyleGANと潜在的なオプティマイザーを組み合わせて、2つの異なるドメインの特徴を含む画像を実現します。ドメイン固有の合成画像とデュアルドメインの合成画像の間でピクセルレベルとアクティベーションの両方を比較するセグメンテーションガイドによる知覚損失を使用します。結果は、私たちのモデルがさまざまなオブジェクト(顔、馬、猫、車)、ドメイン(自然、似顔絵、スケッチ)、およびパーツベースのマスク(目、鼻、口)でデュアルドメイン画像を合成できることを定性的および定量的に示しています、髪、車のボンネット)。このコードは、https://github.com/denabazazian/Dual-Domain-Synthesisで公開されています。
We introduce a segmentation-guided approach to synthesise images that integrate features from two distinct domains. Images synthesised by our dual-domain model belong to one domain within the semantic mask, and to another in the rest of the image - smoothly integrated. We build on the successes of few-shot StyleGAN and single-shot semantic segmentation to minimise the amount of training required in utilising two domains. The method combines a few-shot cross-domain StyleGAN with a latent optimiser to achieve images containing features of two distinct domains. We use a segmentation-guided perceptual loss, which compares both pixel-level and activations between domain-specific and dual-domain synthetic images. Results demonstrate qualitatively and quantitatively that our model is capable of synthesising dual-domain images on a variety of objects (faces, horses, cats, cars), domains (natural, caricature, sketches) and part-based masks (eyes, nose, mouth, hair, car bonnet). The code is publicly available at: https://github.com/denabazazian/Dual-Domain-Synthesis.