arXiv reaDer
LumiGAN: Relightable 3D 人間の顔の無条件生成
LumiGAN: Unconditional Generation of Relightable 3D Human Faces
非構造化 2D 画像データからの 3D 人間の顔の教師なし学習は、活発な研究分野です。最近の作品は印象的なレベルのフォトリアリズムを達成しましたが、一般的に照明の制御が不足しているため、生成されたアセットを新しい環境に展開することができません。この目的のために、推論時に新しい照明の下で再照明を可能にする物理ベースの照明モジュールを備えた、3D 人間の顔のための無条件の敵対的生成ネットワーク (GAN) である LumiGAN を紹介します。以前の作業とは異なり、LumiGAN は、自己管理型の方法で学習された効率的な可視性の定式化を使用して、現実的な影の効果を作成できます。 LumiGAN は、グラウンド トゥルース データを使用せずに、サーフェス法線、ディフューズ アルベド、スペキュラー ティントなど、リライト可能な面のもっともらしい物理プロパティを生成します。再ライト可能性に加えて、最先端の非再ライト可能 3D GAN と比較して大幅に改善されたジオメトリ生成と、既存の再ライト可能 GAN よりも著しく優れたフォトリアリズムを示します。
Unsupervised learning of 3D human faces from unstructured 2D image data is an active research area. While recent works have achieved an impressive level of photorealism, they commonly lack control of lighting, which prevents the generated assets from being deployed in novel environments. To this end, we introduce LumiGAN, an unconditional Generative Adversarial Network (GAN) for 3D human faces with a physically based lighting module that enables relighting under novel illumination at inference time. Unlike prior work, LumiGAN can create realistic shadow effects using an efficient visibility formulation that is learned in a self-supervised manner. LumiGAN generates plausible physical properties for relightable faces, including surface normals, diffuse albedo, and specular tint without any ground truth data. In addition to relightability, we demonstrate significantly improved geometry generation compared to state-of-the-art non-relightable 3D GANs and notably better photorealism than existing relightable GANs.
updated: Tue Apr 25 2023 21:03:20 GMT+0000 (UTC)
published: Tue Apr 25 2023 21:03:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト