顔の表情は、3Dの顔のジオメトリにさまざまな高レベルの詳細をもたらします。たとえば、笑顔は頬のしわやえくぼの形成を引き起こし、怒りはしばしば額のしわを引き起こします。人間の顔の変形可能モデル(3DMM)は、PCAベースの表現でそのような詳細をキャプチャできないため、式の編集に使用したときにそのような詳細を生成できません。この作業では、FaceDet3Dを紹介します。これは、単一の画像から、任意のターゲット表現と一致する幾何学的な顔の詳細を生成する、この種では初めての方法です。顔の詳細は頂点ディスプレイスメントマップとして表され、ニューラルレンダラーによって使用されて、任意の単一画像の新しい画像を任意の表現とビューでフォトリアルにレンダリングします。プロジェクトのウェブサイトは次のとおりです:http://shahrukhathar.github.io/2020/12/14/FaceDet3D.html
Facial Expressions induce a variety of high-level details on the 3D face geometry. For example, a smile causes the wrinkling of cheeks or the formation of dimples, while being angry often causes wrinkling of the forehead. Morphable Models (3DMMs) of the human face fail to capture such fine details in their PCA-based representations and consequently cannot generate such details when used to edit expressions. In this work, we introduce FaceDet3D, a first-of-its-kind method that generates - from a single image - geometric facial details that are consistent with any desired target expression. The facial details are represented as a vertex displacement map and used then by a Neural Renderer to photo-realistically render novel images of any single image in any desired expression and view. The project website is: http://shahrukhathar.github.io/2020/12/14/FaceDet3D.html