この論文は、単一ビューの3D人間再構成の問題に対処します。最近の陰関数ベースの方法は印象的な結果を示していますが、再構成で顔の細部を復元することはできません。これにより、3Dテレプレゼンスなどのアプリケーションのユーザーエクスペリエンスが大幅に低下します。本論文では、再構成における顔の質の改善に焦点を当て、陰関数ベースのアプローチとモデルベースのアプローチのメリットを組み合わせた新しいJointly-aligned Implicit Face Function(JIFF)を提案します。事前の形状として3Dモーフィング可能な顔モデルを採用し、詳細な顔のジオメトリ情報をキャプチャする空間整列3Dフィーチャを計算します。このような空間整列3D機能は、ピクセル整列2D機能と組み合わされて、高品質の顔再構成のための暗黙の顔関数を共同で予測します。パイプラインをさらに拡張し、粗いものから細かいものへのアーキテクチャを導入して、詳細な顔モデルの高品質のテクスチャを予測します。公開データセットに対して広範な評価が行われ、提案されたJIFFは、既存の最先端技術よりも優れたパフォーマンス(定量的および定性的の両方)を示しています。
This paper addresses the problem of single view 3D human reconstruction. Recent implicit function based methods have shown impressive results, but they fail to recover fine face details in their reconstructions. This largely degrades user experience in applications like 3D telepresence. In this paper, we focus on improving the quality of face in the reconstruction and propose a novel Jointly-aligned Implicit Face Function (JIFF) that combines the merits of the implicit function based approach and model based approach. We employ a 3D morphable face model as our shape prior and compute space-aligned 3D features that capture detailed face geometry information. Such space-aligned 3D features are combined with pixel-aligned 2D features to jointly predict an implicit face function for high quality face reconstruction. We further extend our pipeline and introduce a coarse-to-fine architecture to predict high quality texture for our detailed face model. Extensive evaluations have been carried out on public datasets and our proposed JIFF has demonstrates superior performance (both quantitatively and qualitatively) over existing state-of-the-arts.