arXiv reaDer
SliderGAN:3D Blendshapeパラメーターのスライドによる表情豊かな顔画像の合成
SliderGAN: Synthesizing Expressive Face Images by Sliding 3D Blendshape Parameters
  画像から画像(i2i)への変換は、位置合わせされた画像ペアを使用して入力画像を出力に変換する方法を学習する密回帰問題です。 Deep Convolutional Neural Networks(DCNN)の出現により、特にGenerative Adversarial Networks(GAN)の学習パラダイムを使用して、i2iの翻訳で顕著な進展がありました。ペアの画像がない場合、i2i変換は1つまたは複数のドメイン変換(つまり、CycleGAN、StarGANなど)に対処します。この論文では、物理プロセスを記述するモデルに対応する一連の連続パラメータの下で、画像から画像への変換という新しい問題を研究します。特に、顔の動きの統計的ブレンド形状モデルの連続値に従って、入力顔画像を新しいものに変換するSliderGANを提案します。ブレンドシェイプモデルの連続値を制御するスライダーを使用して、表情と音声のブレンドシェイプに従って顔画像を編集できることを示します。これにより、個別の表現またはアクションユニットに基づくモデルと比較して、顔の編集、表現の転送、顔の中和など、さまざまなタスクの柔軟性が大幅に向上します。
Image-to-image (i2i) translation is the dense regression problem of learning how to transform an input image into an output using aligned image pairs. Remarkable progress has been made in i2i translation with the advent of Deep Convolutional Neural Networks (DCNNs) and particular using the learning paradigm of Generative Adversarial Networks (GANs). In the absence of paired images, i2i translation is tackled with one or multiple domain transformations (i.e., CycleGAN, StarGAN etc.). In this paper, we study a new problem, that of image-to-image translation, under a set of continuous parameters that correspond to a model describing a physical process. In particular, we propose the SliderGAN which transforms an input face image into a new one according to the continuous values of a statistical blendshape model of facial motion. We show that it is possible to edit a facial image according to expression and speech blendshapes, using sliders that control the continuous values of the blendshape model. This provides much more flexibility in various tasks, including but not limited to face editing, expression transfer and face neutralisation, comparing to models based on discrete expressions or action units.
updated: Mon Aug 26 2019 12:34:37 GMT+0000 (UTC)
published: Mon Aug 26 2019 12:34:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト