3D Morphable Model(3DMM)フィッティングは、その強力な3Dアプリオリにより、顔の分析に広くメリットをもたらしています。ただし、以前に再構築された3D面は、不十分なグラウンドトゥルース3D形状、信頼性の低いトレーニング戦略、および3DMMの限られた表現力に起因する、きめの細かいジオメトリの喪失により、視覚的な真実らしさが低下します。この問題を軽減するために、このペーパーでは、再構築された形状が対応する人物と同一に見えるように、パーソナライズされた形状をキャプチャするための完全なソリューションを提案します。具体的には、入力として2D画像を指定すると、元の画像ジオメトリを維持しながら、ポーズの変化を正規化するために、いくつかのキャリブレーションされたビューで画像を仮想的にレンダリングします。多対1の砂時計ネットワークは、マルチビュー機能を融合し、細粒度のジオメトリとして頂点の変位を生成するためのエンコードデコーダーとして機能します。さらに、ニューラルネットワークは、視覚効果を直接最適化することによってトレーニングされます。ここでは、形状からレンダリングされたマルチビュー画像間の類似性を測定することにより、2つの3D形状が比較されます。最後に、RGB-D画像を登録し、続いてポーズと形状を拡張して、ネットワークトレーニングに十分なデータを提供することにより、グラウンドトゥルース3D形状を生成することを提案します。いくつかの挑戦的なプロトコルでの実験は、顔の形に関する私たちの提案の優れた再構成精度を示しています。
3D Morphable Model (3DMM) fitting has widely benefited face analysis due to its strong 3D priori. However, previous reconstructed 3D faces suffer from degraded visual verisimilitude due to the loss of fine-grained geometry, which is attributed to insufficient ground-truth 3D shapes, unreliable training strategies and limited representation power of 3DMM. To alleviate this issue, this paper proposes a complete solution to capture the personalized shape so that the reconstructed shape looks identical to the corresponding person. Specifically, given a 2D image as the input, we virtually render the image in several calibrated views to normalize pose variations while preserving the original image geometry. A many-to-one hourglass network serves as the encode-decoder to fuse multiview features and generate vertex displacements as the fine-grained geometry. Besides, the neural network is trained by directly optimizing the visual effect, where two 3D shapes are compared by measuring the similarity between the multiview images rendered from the shapes. Finally, we propose to generate the ground-truth 3D shapes by registering RGB-D images followed by pose and shape augmentation, providing sufficient data for network training. Experiments on several challenging protocols demonstrate the superior reconstruction accuracy of our proposal on the face shape.