arXiv reaDer
HeadGAN:ワンショットニューラルヘッドの合成と編集
HeadGAN: One-shot Neural Head Synthesis and Editing
単一の参照画像を使用して頭部の再現の問題を解決する最近の試みは、有望な結果を示しています。しかし、それらのほとんどは、フォトリアリズムの点でパフォーマンスが低いか、アイデンティティ保存の問題を満たしていないか、運転のポーズと表現を完全に伝達していません。 HeadGANは、3D顔表現で合成を条件付ける新しいシステムであり、任意の運転ビデオから抽出して、任意の参照画像の顔の形状に適合させ、表現からアイデンティティを解きほぐすことができます。音声機能を補完的な入力として利用することで、口の動きをさらに改善します。 3D顔表現により、HeadGANは、圧縮と再構築の効率的な方法として、また表現とポーズの編集のためのツールとしてさらに使用できます。
Recent attempts to solve the problem of head reenactment using a single reference image have shown promising results. However, most of them either perform poorly in terms of photo-realism, or fail to meet the identity preservation problem, or do not fully transfer the driving pose and expression. We propose HeadGAN, a novel system that conditions synthesis on 3D face representations, which can be extracted from any driving video and adapted to the facial geometry of any reference image, disentangling identity from expression. We further improve mouth movements, by utilising audio features as a complementary input. The 3D face representation enables HeadGAN to be further used as an efficient method for compression and reconstruction and a tool for expression and pose editing.
updated: Mon Aug 23 2021 15:25:53 GMT+0000 (UTC)
published: Tue Dec 15 2020 12:51:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト