arXiv reaDer
Self-supervised Learning of Detailed 3D Face Reconstruction
この論文では、単一の画像からの詳細な3D顔再構成のためのエンドツーエンドの学習フレームワークを提示します。私たちのアプローチでは、3DMMベースの粗いモデルとUV空間の変位マップを使用して、3D面を表現します。以前の問題への取り組みとは異なり、私たちの学習フレームワークは、従来のアプローチで計算された代理グラウンドトゥルース3Dモデルの監視を必要としません。代わりに、学習中の監視として入力画像自体を利用します。最初の段階では、3DMMベースの粗いモデルを回帰するために、測光損失と入力顔とレンダリングされた顔の間の顔の知覚損失を組み合わせます。 2番目のステージでは、入力画像と粗いモデルの回帰テクスチャーの両方がUV空間にアンラップされ、画像から画像への変換ネットワークを介して送信され、UV空間のディスプレイスメントマップが予測されます。変位マップと粗いモデルを使用して、最終的な詳細な顔をレンダリングします。これを元の入力画像と比較して、第2ステージの測光損失として機能させることができます。 UV空間でディスプレイスメントマップを学習する利点は、アンラッピング中に顔の位置合わせを明示的に実行できるため、大量のデータから顔の詳細を学習しやすいことです。広範な実験により、提案された方法が以前の研究よりも優れていることが実証されています。
In this paper, we present an end-to-end learning framework for detailed 3D face reconstruction from a single image. Our approach uses a 3DMM-based coarse model and a displacement map in UV-space to represent a 3D face. Unlike previous work addressing the problem, our learning framework does not require supervision of surrogate ground-truth 3D models computed with traditional approaches. Instead, we utilize the input image itself as supervision during learning. In the first stage, we combine a photometric loss and a facial perceptual loss between the input face and the rendered face, to regress a 3DMM-based coarse model. In the second stage, both the input image and the regressed texture of the coarse model are unwrapped into UV-space, and then sent through an image-toimage translation network to predict a displacement map in UVspace. The displacement map and the coarse model are used to render a final detailed face, which again can be compared with the original input image to serve as a photometric loss for the second stage. The advantage of learning displacement map in UV-space is that face alignment can be explicitly done during the unwrapping, thus facial details are easier to learn from large amount of data. Extensive experiments demonstrate the superiority of the proposed method over previous work.
updated: Wed Sep 02 2020 03:58:23 GMT+0000 (UTC)
published: Fri Oct 25 2019 15:16:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト