arXiv reaDer
FReeNet: Multi-Identity Face Reenactment
 このペーパーでは、共有モデルを使用して任意のソースの顔からターゲットの顔に表情を転送するための、FReeNetという名前の新しいマルチアイデンティティの顔再現フレームワークを紹介します。提案されているFReeNetは、Unified Landmark Converter(ULC)とGeometry-aware Generator(GAG)の2つの部分で構成されています。 ULCはエンコードデコーダアーキテクチャを採用して、潜在的なランドマーク空間で式を効率的に変換します。これにより、ソースアイデンティティとターゲットアイデンティティの間の顔の輪郭のギャップが大幅に狭くなります。 GAGは、変換されたランドマークを利用して、写実的な画像を対象者の参照画像で再現します。さらに、GAPモジュールが外観とジオメトリ情報を同時に学習するように強制する新しいトリプレット知覚損失が提案されます。これにより、再現された画像の顔の詳細も豊かになります。さらなる実験により、写実的で表情の似た顔を生成するためのアプローチの優位性と、アイデンティティ間で表情を転送する柔軟性が実証されました。
This paper presents a novel multi-identity face reenactment framework, named FReeNet, to transfer facial expressions from an arbitrary source face to a target face with a shared model. The proposed FReeNet consists of two parts: Unified Landmark Converter (ULC) and Geometry-aware Generator (GAG). The ULC adopts an encode-decoder architecture to efficiently convert expression in a latent landmark space, which significantly narrows the gap of the face contour between source and target identities. The GAG leverages the converted landmark to reenact the photorealistic image with a reference image of the target person. Moreover, a new triplet perceptual loss is proposed to force the GAG module to learn appearance and geometry information simultaneously, which also enriches facial details of the reenacted images. Further experiments demonstrate the superiority of our approach for generating photorealistic and expression-alike faces, as well as the flexibility for transferring facial expressions between identities.
updated: Sat May 16 2020 07:29:20 GMT+0000 (UTC)
published: Tue May 28 2019 13:34:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト