PIFu ベースの 3D 人間再構成法は一般的ですが、復元された詳細の品質はまだ満足のいくものではありません。まばらな (たとえば、3 つの RGBD センサー) キャプチャ設定では、深度ノイズは通常、PIFu 表現で増幅され、平坦な顔の表面と幾何学的に誤りやすい体になります。この論文では、スパースでノイズの多い入力からの 3D 人間再構成のための新しいジオメトリ認識 2 スケール PIFu を提案します。私たちの重要なアイデアは、深度ノイズ除去と 3D 再構成の補完的な特性を活用して、2 スケールの PIFu 表現を学習し、高周波の顔の詳細と一貫した身体を別々に再構成することです。この目的のために、最初に深度ノイズ除去と 3D 再構成をマルチタスク学習問題として定式化します。深度ノイズ除去プロセスは、再構成フィーチャのローカル ジオメトリ情報を強化しますが、再構成プロセスは、グローバル トポロジ情報を使用して深度ノイズ除去を強化します。次に、ノイズ除去された深度とジオメトリ認識機能に基づく 2 つの MLP を使用して、2 スケール PIFu 表現を学習することを提案します。広範な実験により、さまざまなポーズの顔の詳細と体を再構築する際のアプローチの有効性と、最先端の方法に対するその優位性が実証されています。
Although PIFu-based 3D human reconstruction methods are popular, the quality of recovered details is still unsatisfactory. In a sparse (e.g., 3 RGBD sensors) capture setting, the depth noise is typically amplified in the PIFu representation, resulting in flat facial surfaces and geometry-fallible bodies. In this paper, we propose a novel geometry-aware two-scale PIFu for 3D human reconstruction from sparse, noisy inputs. Our key idea is to exploit the complementary properties of depth denoising and 3D reconstruction, for learning a two-scale PIFu representation to reconstruct high-frequency facial details and consistent bodies separately. To this end, we first formulate depth denoising and 3D reconstruction as a multi-task learning problem. The depth denoising process enriches the local geometry information of the reconstruction features, while the reconstruction process enhances depth denoising with global topology information. We then propose to learn the two-scale PIFu representation using two MLPs based on the denoised depth and geometry-aware features. Extensive experiments demonstrate the effectiveness of our approach in reconstructing facial details and bodies of different poses and its superiority over state-of-the-art methods.