arXiv reaDer
野生画像から3D顔再構成のための自由形状変形を学習
Learning Free-Form Deformation for 3D Face Reconstruction from In-The-Wild Images
線形基底関数を使用して 3D 顔を表す主成分分析 (PCA) ベースの統計モデルである 3D Morphable Model (3DMM) は、単一ビューの野生画像から 3D 顔を再構築するための有望な結果を示しています。ただし、3DMM は、3D スキャンの数が限られていることとグローバル線形基底のため、表現力に制限があります。 3DMM の制限に対処するために、初めて自由形状変形 (FFD) を使用して 3D 顔メッシュを再構築する簡単な学習ベースの方法を提案します。 FFD は、平行六面体グリッド内に参照メッシュを埋め込み、グリッドのまばらなコントロール ポイントを移動することでメッシュを変形させる幾何学的モデリング手法です。 FFD は数学的に定義された基底関数に基づいているため、表現力に制限はありません。このように、制御点の適切なずれを変形パラメータとして推定することで、正確な 3 次元顔メッシュを復元することができます。 3DMM と FFD はどちらもパラメトリック モデルですが、顔の形状に対する 3DMM パラメータの影響を予測することは困難ですが、FFD の変形パラメータはメッシュの最終的な形状への影響に関して解釈可能です。 FFD のこの実用的な利点により、結果として得られるメッシュとコントロール ポイントは、3D 顔モデリングの良い開始点として機能します。つまり、一般ユーザーは、広く利用可能な 3D ソフトウェア ツールを使用してメッシュを微調整できます。複数のデータセットでの実験は、私たちの方法が 2D 顔画像から 3D 顔のジオメトリと顔の表情をうまく推定し、最先端の方法に匹敵するパフォーマンスを達成する方法を示しています。
The 3D Morphable Model (3DMM), which is a Principal Component Analysis (PCA) based statistical model that represents a 3D face using linear basis functions, has shown promising results for reconstructing 3D faces from single-view in-the-wild images. However, 3DMM has restricted representation power due to the limited number of 3D scans and the global linear basis. To address the limitations of 3DMM, we propose a straightforward learning-based method that reconstructs a 3D face mesh through Free-Form Deformation (FFD) for the first time. FFD is a geometric modeling method that embeds a reference mesh within a parallelepiped grid and deforms the mesh by moving the sparse control points of the grid. As FFD is based on mathematically defined basis functions, it has no limitation in representation power. Thus, we can recover accurate 3D face meshes by estimating appropriate deviation of control points as deformation parameters. Although both 3DMM and FFD are parametric models, it is difficult to predict the effect of the 3DMM parameters on the face shape, while the deformation parameters of FFD are interpretable in terms of their effect on the final shape of the mesh. This practical advantage of FFD allows the resulting mesh and control points to serve as a good starting point for 3D face modeling, in that ordinary users can fine-tune the mesh by using widely available 3D software tools. Experiments on multiple datasets demonstrate how our method successfully estimates the 3D face geometry and facial expressions from 2D face images, achieving comparable performance to the state-of-the-art methods.
updated: Mon May 31 2021 10:19:20 GMT+0000 (UTC)
published: Mon May 31 2021 10:19:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト