没入型VR / AR体験には、人間の活動の4D再構成とレンダリングが重要です。最近の進歩では、スパースマルチビューRGBカメラからの入力画像に存在する詳細レベルでは、細かいジオメトリとテクスチャの結果を復元できません。本稿では、リアルタイムのニューラルヒューマンパフォーマンスキャプチャおよびレンダリングシステムであるNeuralHumanFVVを提案し、任意の斬新なビューで人間の活動の高品質なジオメトリとフォトリアリスティックなテクスチャの両方を生成します。リアルタイムの暗黙的なジオメトリ推論のための階層的サンプリング戦略を備えたニューラルジオメトリ生成スキームと、新しいビューで高解像度(1kなど)とフォトリアリスティックなテクスチャ結果を生成する新しいニューラルブレンディングスキームを提案します。さらに、ニューラルノーマルブレンディングを採用してジオメトリの詳細を強化し、ニューラルジオメトリとテクスチャレンダリングをマルチタスク学習フレームワークに定式化します。広範な実験は、挑戦的な人間のパフォーマンスのための高品質のジオメトリとフォトリアリスティックな自由な視点の再構築を達成するための私たちのアプローチの有効性を示しています。
4D reconstruction and rendering of human activities is critical for immersive VR/AR experience.Recent advances still fail to recover fine geometry and texture results with the level of detail present in the input images from sparse multi-view RGB cameras. In this paper, we propose NeuralHumanFVV, a real-time neural human performance capture and rendering system to generate both high-quality geometry and photo-realistic texture of human activities in arbitrary novel views. We propose a neural geometry generation scheme with a hierarchical sampling strategy for real-time implicit geometry inference, as well as a novel neural blending scheme to generate high resolution (e.g., 1k) and photo-realistic texture results in the novel views. Furthermore, we adopt neural normal blending to enhance geometry details and formulate our neural geometry and texture rendering into a multi-task learning framework. Extensive experiments demonstrate the effectiveness of our approach to achieve high-quality geometry and photo-realistic free view-point reconstruction for challenging human performances.