ピクセル整列陰関数(PIFu)を使用した3D人間再構成法は急速に発展していますが、再構成された詳細の品質はまだ満足のいくものではありません。平らな顔の表面は、PIFuベースの再構成結果で頻繁に発生します。この目的のために、再構成された顔の細部の品質を高めるために、2スケールのPIFu表現を提案します。具体的には、2つのMLPを使用して、顔と人体のPIFusを個別に表します。 3D顔の再構築専用のMLPは、ネットワーク容量を増やし、以前の1スケールのPIFu表現のように顔の詳細の再構築の難しさを軽減できます。トポロジエラーを修正するために、3つのRGBDセンサーを利用して、ネットワークへの入力としてマルチビューRGBDデータをキャプチャします。これは、スパースで軽量なキャプチャ設定です。深度ノイズは再構成結果に深刻な影響を与えるため、入力RGB画像のガイダンスの下で生の深度のノイズを低減する深度改良モジュールを設計します。また、身体と顔の予測された占有フィールドを融合して、それらの境界での不連続性アーチファクトを排除するための適応融合スキームを提案します。実験は、鮮やかな顔の細部を再構築し、体の形を変形させるという私たちのアプローチの有効性を実証し、最先端の方法に対するその優位性を検証します。
While the 3D human reconstruction methods using Pixel-aligned implicit function (PIFu) develop fast, we observe that the quality of reconstructed details is still not satisfactory. Flat facial surfaces frequently occur in the PIFu-based reconstruction results. To this end, we propose a two-scale PIFu representation to enhance the quality of the reconstructed facial details. Specifically, we utilize two MLPs to separately represent the PIFus for the face and human body. An MLP dedicated to the reconstruction of 3D faces can increase the network capacity and reduce the difficulty of the reconstruction of facial details as in the previous one-scale PIFu representation. To remedy the topology error, we leverage 3 RGBD sensors to capture multiview RGBD data as the input to the network, a sparse, lightweight capture setting. Since the depth noise severely influences the reconstruction results, we design a depth refinement module to reduce the noise of the raw depths under the guidance of the input RGB images. We also propose an adaptive fusion scheme to fuse the predicted occupancy field of the body and face to eliminate the discontinuity artifact at their boundaries. Experiments demonstrate the effectiveness of our approach in reconstructing vivid facial details and deforming body shapes, and verify its superiority over state-of-the-art methods.