arXiv reaDer
透視投影下での単一画像3D顔再構成
Single-Image 3D Face Reconstruction under Perspective Projection
3D顔再構成では、フィッティングプロセスを簡素化するために、正射影を透視投影に置き換えるために広く採用されています。この近似は、カメラと顔の間の距離が十分に離れている場合にうまく機能します。ただし、顔がカメラに非常に近いか、カメラ軸に沿って移動しているシナリオでは、透視投影の下での歪みのために、メソッドは不正確な再構成と不安定な時間的フィッティングに悩まされます。本論文では、透視投影下での単一画像3D顔再構成の問題に取り組むことを目的としている。具体的には、深層ニューラルネットワークであるPerspective Network(PerspNet)を提案して、標準空間で3D顔の形状を再構築し、2Dピクセルと3Dポイントの対応を学習します。これにより、6DoF(6自由度)の顔のポーズを推定できます。透視投影を表すため。さらに、大規模なARKitFaceデータセットを提供して、透視投影のシナリオで3D顔再構成ソリューションのトレーニングと評価を可能にします。これには、グラウンドトゥルース3D顔メッシュと注釈付き6DoFポーズパラメータを備えた902,724の2D顔画像があります。実験結果は、私たちのアプローチが現在の最先端の方法を大幅に上回っていることを示しています。
In 3D face reconstruction, orthogonal projection has been widely employed to substitute perspective projection to simplify the fitting process. This approximation performs well when the distance between camera and face is far enough. However, in some scenarios that the face is very close to camera or moving along the camera axis, the methods suffer from the inaccurate reconstruction and unstable temporal fitting due to the distortion under the perspective projection. In this paper, we aim to address the problem of single-image 3D face reconstruction under perspective projection. Specifically, a deep neural network, Perspective Network (PerspNet), is proposed to simultaneously reconstruct 3D face shape in canonical space and learn the correspondence between 2D pixels and 3D points, by which the 6DoF (6 Degrees of Freedom) face pose can be estimated to represent perspective projection. Besides, we contribute a large ARKitFace dataset to enable the training and evaluation of 3D face reconstruction solutions under the scenarios of perspective projection, which has 902,724 2D facial images with ground-truth 3D face mesh and annotated 6DoF pose parameters. Experimental results show that our approach outperforms current state-of-the-art methods by a significant margin.
updated: Mon May 09 2022 08:49:41 GMT+0000 (UTC)
published: Mon May 09 2022 08:49:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト