arXiv reaDer
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
リアルな3D面の生成は、コンピュータグラフィックスおよびコンピュータビジョンアプリケーションにとって非常に重要です。一般に、3D顔の生成に関する研究は、顔の表面の線形統計モデルを中心に展開します。それにもかかわらず、これらのモデルは、顔のテクスチャや顔の法線を忠実に表すことができません。これらは、写実的な顔の合成に非常に重要です。最近、Generative Adversarial Network(GAN)を使用して顔の高品質なテクスチャを生成できることが実証されました。それにもかかわらず、生成プロセスでは、ジオメトリと法線が省略されるか、3D形状情報を生成するために独立したプロセスが使用されます。このペーパーでは、高品質のテクスチャ、形状、および法線を一緒に生成して、フォトリアリスティックな合成に使用できる最初の方法を紹介します。そうするために、我々はそれらの相関関係を利用しながら異なるモダリティからデータを生成することができる新しいGANを提案します。さらに、表情をもとに生成条件を設定し、さまざまな表情の顔を作成する方法を示します。このペーパーに示されている定性的な結果は、サイズの制限、フル解像度の結果のために圧縮されており、付属のビデオは補足ドキュメントに記載されています。コードとモデルは、プロジェクトページ(で入手できます。
Generating realistic 3D faces is of high importance for computer graphics and computer vision applications. Generally, research on 3D face generation revolves around linear statistical models of the facial surface. Nevertheless, these models cannot represent faithfully either the facial texture or the normals of the face, which are very crucial for photo-realistic face synthesis. Recently, it was demonstrated that Generative Adversarial Networks (GANs) can be used for generating high-quality textures of faces. Nevertheless, the generation process either omits the geometry and normals, or independent processes are used to produce 3D shape information. In this paper, we present the first methodology that generates high-quality texture, shape, and normals jointly, which can be used for photo-realistic synthesis. To do so, we propose a novel GAN that can generate data from different modalities while exploiting their correlations. Furthermore, we demonstrate how we can condition the generation on the expression and create faces with various facial expressions. The qualitative results shown in this paper are compressed due to size limitations, full-resolution results and the accompanying video can be found in the supplementary documents. The code and models are available at the project page:
updated: Wed Dec 02 2020 01:12:57 GMT+0000 (UTC)
published: Thu Sep 05 2019 05:33:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト