arXiv reaDer
PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer
 このホワイトペーパーでは、メイクアップを参照画像からソースイメージに転送することを目的としたメイクアップ転送タスクについて説明します。既存の方法は、制約のあるシナリオで有望な進歩を達成しましたが、大きなポーズと表現の違いがある画像間での転送は依然として困難です。さらに、制御可能なメイクアップのシェードを許可したり、転送するパーツを指定したりするカスタマイズ可能な転送を実現できず、アプリケーションが制限されます。これらの問題に対処するには、ポーズと表現の堅牢な空間認識GAN(PSGAN)を提案します。最初にMakeup Distill Networkを使用して、参照イメージのメイクアップを2つの空間認識メイクアップマトリックスとして解きます。次に、注意深いメイクモーフィングモジュールが導入され、ソースイメージ内のピクセルのメイクアップが参照イメージからどのようにモーフィングされるかを指定します。メイクアップマトリックスとソースイメージを使用して、メイクアップ適用ネットワークを使用してメイクアップ転送を実行します。当社のPSGANは、ポーズや表情の大きな違いが存在する場合でも最新の結果を達成するだけでなく、部分的およびシェード制御可能なメイクアップトランスファーを実行できます。また、評価のために、さまざまなポーズと表情の顔画像を含むデータセットを収集しました。
In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.
updated: Tue Nov 26 2019 08:25:05 GMT+0000 (UTC)
published: Mon Sep 16 2019 02:52:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト