arXiv reaDer
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
 顔写真スケッチ合成は、特定の写真/スケッチに基づいた顔スケッチ/写真の生成を目的としています。これは、デジタルエンターテインメントや法執行機関を含む幅広いアプリケーションです。顔の写真/スケッチを正確に描写することは、構造的なリアリズムとテクスチャーの一貫性の制限のために困難なままです。既存の方法では説得力のある結果が得られますが、ほとんどの場合、ぼやけた効果やさまざまな顔の構成要素に大きな変形が生じ、合成画像の非現実的な感覚につながります。この課題に取り組むために、この作業では、顔の構図情報を使用して、顔のスケッチ/写真の合成を支援することを提案します。特に、顔写真スケッチ合成のための新規構成支援生成的敵対ネットワーク(CA-GAN)を提案します。 CA-GANでは、顔写真/スケッチとそれに対応するピクセル単位の顔ラベルを含むペアの入力を利用して、スケッチ/写真を生成します。さらに、ハード生成コンポーネントとデリケートな顔の構造にトレーニングを集中するために、組成物の再構成損失を提案します。最後に、スタックされたCA-GAN(SCA-GAN)を使用して、欠陥をさらに修正し、説得力のある詳細を追加します。実験結果は、私たちの方法が視覚的に快適でアイデンティティを保持する顔のスケッチ/写真の両方を広範囲の困難なデータにわたって生成できることを示しています。私たちの方法は、最先端の品質を達成し、以前の最良のフレッシェ開始距離(FID)を大幅に削減します。その上、提案された方法がかなり一般化できることを示します。コードと結果を公開しました:。
Face photo-sketch synthesis aims at generating a facial sketch/photo conditioned on a given photo/sketch. It is of wide applications including digital entertainment and law enforcement. Precisely depicting face photos/sketches remains challenging due to the restrictions on structural realism and textural consistency. While existing methods achieve compelling results, they mostly yield blurred effects and great deformation over various facial components, leading to the unrealistic feeling of synthesized images. To tackle this challenge, in this work, we propose to use the facial composition information to help the synthesis of face sketch/photo. Specially, we propose a novel composition-aided generative adversarial network (CA-GAN) for face photo-sketch synthesis. In CA-GAN, we utilize paired inputs including a face photo/sketch and the corresponding pixel-wise face labels for generating a sketch/photo. In addition, to focus training on hard-generated components and delicate facial structures, we propose a compositional reconstruction loss. Finally, we use stacked CA-GANs (SCA-GAN) to further rectify defects and add compelling details. Experimental results show that our method is capable of generating both visually comfortable and identity-preserving face sketches/photos over a wide range of challenging data. Our method achieves the state-of-the-art quality, reducing best previous Frechet Inception distance (FID) by a large margin. Besides, we demonstrate that the proposed method is of considerable generalization ability. We have made our code and results publicly available:
updated: Thu Jan 09 2020 03:35:56 GMT+0000 (UTC)
published: Mon Dec 04 2017 04:24:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト