arXiv reaDer
Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry
この作業では、3Dモーファブルモデル(3DMM)と3D顔のランドマークの相乗効果プロセスから学習して、3Dアライメント、顔の向き、3D顔モデリングなどの完全な3D顔のジオメトリを予測します。私たちの相乗効果プロセスは、3DMMパラメーターと3Dランドマークの表現サイクルを活用します。 3Dランドマークは、3DMMパラメータによって構築された顔メッシュから抽出および改良できます。次に、表現の方向を逆にして、スパース3Dランドマークから3DMMパラメーターを予測すると情報フローが改善されることを示します。一緒に、3Dランドマークと3DMMパラメーター間の関係を利用する相乗効果プロセスを作成し、それらが協力してパフォーマンスの向上に貢献します。顔の形状予測の完全なタスクへの貢献を広範囲に検証し、さまざまなシナリオでこれらのタスクに対する優れた堅牢なパフォーマンスを示します。特に、高速で正確な顔の形状予測を実現するために、シンプルで広く使用されているネットワーク操作のみを採用しています。コードとデータ:
This work studies learning from a synergy process of 3D Morphable Models (3DMM) and 3D facial landmarks to predict complete 3D facial geometry, including 3D alignment, face orientation, and 3D face modeling. Our synergy process leverages a representation cycle for 3DMM parameters and 3D landmarks. 3D landmarks can be extracted and refined from face meshes built by 3DMM parameters. We next reverse the representation direction and show that predicting 3DMM parameters from sparse 3D landmarks improves the information flow. Together we create a synergy process that utilizes the relation between 3D landmarks and 3DMM parameters, and they collaboratively contribute to better performance. We extensively validate our contribution on full tasks of facial geometry prediction and show our superior and robust performance on these tasks for various scenarios. Particularly, we adopt only simple and widely-used network operations to attain fast and accurate facial geometry prediction. Codes and data:
updated: Tue Oct 19 2021 07:29:14 GMT+0000 (UTC)
published: Tue Oct 19 2021 07:29:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト