arXiv reaDer
線画による対になっていない顔の写真とスケッチの橋渡し
Bridging Unpaired Facial Photos And Sketches By Line-drawings
本論文では、対になっていないデータを使用して顔スケッチ合成モデルを学習するための新しい方法を提案します。私たちの主なアイデアは、線画ドメインZを使用して写真ドメインXとスケッチドメインYをブリッジすることです。特に、ニューラルスタイルの転送方法、つまりF:X / Y \を使用して、写真とスケッチの両方を線画にマッピングします。その結果、疑似ペアデータ(Z、Y)を取得し、監視された学習方法でマッピングG:Z \ mapstoYを学習できます。推論段階では、顔写真が与えられると、最初にそれを線画に転送し、次にG∘Fによるスケッチに転送することができます。さらに、さまざまなタイプのストロークを生成するための新しいストローク損失を提案します。 sRenderと呼ばれる私たちの方法は、人間のアーティストのレンダリングプロセスとよく一致しています。実験結果は、sRenderがマルチスタイルのスケッチを生成でき、既存の対になっていない画像から画像への変換方法を大幅に上回っていることを示しています。
In this paper, we propose a novel method to learn face sketch synthesis models by using unpaired data. Our main idea is bridging the photo domain X and the sketch domain Y by using the line-drawing domain Z. Specially, we map both photos and sketches to line-drawings by using a neural style transfer method, i.e. F: X/Y \mapsto Z. Consequently, we obtain pseudo paired data (Z, Y), and can learn the mapping G:Z \mapsto Y in a supervised learning manner. In the inference stage, given a facial photo, we can first transfer it to a line-drawing and then to a sketch by G ∘F. Additionally, we propose a novel stroke loss for generating different types of strokes. Our method, termed sRender, accords well with human artists' rendering process. Experimental results demonstrate that sRender can generate multi-style sketches, and significantly outperforms existing unpaired image-to-image translation methods.
updated: Thu Feb 25 2021 07:47:27 GMT+0000 (UTC)
published: Mon Feb 01 2021 04:51:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト