arXiv reaDer
Neural Free-Viewpoint Performance Rendering under Complex Human-object Interactions
人間と物体の相互作用の4D再構築は、没入型VR / AR体験と人間活動の理解にとって重要です。最近の進歩は、特に困難な人間とオブジェクトの相互作用のシナリオの下で、まばらなRGB入力から細かいジオメトリとテクスチャの結果を回復することにまだ失敗しています。この論文では、スパースRGBストリームのみから、任意の新しいビューでの挑戦的な相互作用シナリオの下で、人間とオブジェクトの両方の高品質のジオメトリとフォトリアリスティックなテクスチャの両方を生成するニューラルヒューマンパフォーマンスキャプチャおよびレンダリングシステムを提案します。人間とオブジェクトの相互作用によって発生する複雑なオクルージョンを処理するために、レイヤーごとのシーンデカップリング戦略を採用し、人間とオブジェクトの体積再構成とニューラルレンダリングを実行します。具体的には、幾何学の再構築のために、人間の再構築とオブジェクトの再構築をそれらの相関関係と一緒に考慮する相互作用を意識した人間とオブジェクトのキャプチャスキームを提案します。一貫性のある4D人間オブジェクト動的再構成のために、オクルージョン認識人間再構成と堅牢な人間認識オブジェクト追跡が提案されています。ニューラルテクスチャレンダリングでは、方向を意識したニューラルブレンディングの重み学習と時空間テクスチャ補完を組み合わせて、遮蔽されたシナリオで高解像度でフォトリアリスティックなテクスチャ結果を提供する、レイヤーごとの人間オブジェクトレンダリングスキームを提案します。広範な実験は、人間と物体の相互作用に挑戦するための自由な視点で高品質のジオメトリとテクスチャの再構築を実現するためのアプローチの有効性を示しています。
4D reconstruction of human-object interaction is critical for immersive VR/AR experience and human activity understanding. Recent advances still fail to recover fine geometry and texture results from sparse RGB inputs, especially under challenging human-object interactions scenarios. In this paper, we propose a neural human performance capture and rendering system to generate both high-quality geometry and photo-realistic texture of both human and objects under challenging interaction scenarios in arbitrary novel views, from only sparse RGB streams. To deal with complex occlusions raised by human-object interactions, we adopt a layer-wise scene decoupling strategy and perform volumetric reconstruction and neural rendering of the human and object. Specifically, for geometry reconstruction, we propose an interaction-aware human-object capture scheme that jointly considers the human reconstruction and object reconstruction with their correlations. Occlusion-aware human reconstruction and robust human-aware object tracking are proposed for consistent 4D human-object dynamic reconstruction. For neural texture rendering, we propose a layer-wise human-object rendering scheme, which combines direction-aware neural blending weight learning and spatial-temporal texture completion to provide high-resolution and photo-realistic texture results in the occluded scenarios. Extensive experiments demonstrate the effectiveness of our approach to achieve high-quality geometry and texture reconstruction in free viewpoints for challenging human-object interactions.
updated: Tue Aug 03 2021 06:22:47 GMT+0000 (UTC)
published: Sun Aug 01 2021 04:53:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト