本論文では、対になっていないデータを使用して顔スケッチ合成モデルを学習するための新しい方法を提案します。私たちの主なアイデアは、線画ドメインZを使用して写真ドメインXとスケッチドメインYをブリッジすることです。特に、ニューラルスタイルの転送方法、つまりF:X / Y \を使用して、写真とスケッチの両方を線画にマッピングします。その結果、疑似ペアデータ(Z、Y)を取得し、監視された学習方法でマッピングG:Z \ mapstoYを学習できます。推論段階では、顔写真が与えられると、最初にそれを線画に転送し、次にG∘Fによるスケッチに転送することができます。さらに、さまざまなタイプのストロークを生成するための新しいストローク損失を提案します。 sRenderと呼ばれる私たちの方法は、人間のアーティストのレンダリングプロセスとよく一致しています。実験結果は、sRenderがマルチスタイルのスケッチを生成でき、既存の対になっていない画像から画像への変換方法を大幅に上回っていることを示しています。
In this paper, we propose a novel method to learn face sketch synthesis models by using unpaired data. Our main idea is bridging the photo domain X and the sketch domain Y by using the line-drawing domain Z. Specially, we map both photos and sketches to line-drawings by using a neural style transfer method, i.e. F: X/Y \mapsto Z. Consequently, we obtain pseudo paired data (Z, Y), and can learn the mapping G:Z \mapsto Y in a supervised learning manner. In the inference stage, given a facial photo, we can first transfer it to a line-drawing and then to a sketch by G ∘F. Additionally, we propose a novel stroke loss for generating different types of strokes. Our method, termed sRender, accords well with human artists' rendering process. Experimental results demonstrate that sRender can generate multi-style sketches, and significantly outperforms existing unpaired image-to-image translation methods.