arXiv reaDer
AvatarCap:アニメート可能なアバター条件付き単眼人間ボリュームキャプチャ
AvatarCap: Animatable Avatar Conditioned Monocular Human Volumetric Capture
単眼の人間の体積キャプチャでの部分的な観察によって引き起こされる不適切な問題に対処するために、AvatarCapを紹介します。これは、可視領域と不可視領域の両方で忠実度の高い再構築のために、キャプチャパイプラインにアニメート可能なアバターを導入する新しいフレームワークです。私たちの方法では、最初に、事前に少数(〜20)の3Dスキャンから対象のアニメート可能なアバターを作成します。次に、この主題の単眼RGBビデオが与えられると、私たちの方法は、画像観察と以前のアバターの両方からの情報を統合し、それに応じて、可視性に関係なく動的な詳細で高忠実度の3Dテクスチャモデルを再構築します。わずかなサンプルからボリュームキャプチャに効果的なアバターを学習するために、GeoTexAvatarを提案します。これは、ジオメトリとテクスチャの両方の監視を活用して、分解された暗黙的な方法でポーズに依存するダイナミクスを制約します。正規の通常の融合と再構成ネットワークを含むアバター条件付きボリュームキャプチャ方法をさらに提案して、画像観測とアバターダイナミクスの両方を統合し、観測領域と非可視領域の両方で忠実度の高い再構成を実現します。全体として、私たちの方法は、詳細でポーズに依存するダイナミクスを備えた単眼の人間の体積キャプチャを可能にし、実験は、私たちの方法が最先端の方法よりも優れていることを示しています。コードはhttps://github.com/lizhe00/AvatarCapで入手できます。
To address the ill-posed problem caused by partial observations in monocular human volumetric capture, we present AvatarCap, a novel framework that introduces animatable avatars into the capture pipeline for high-fidelity reconstruction in both visible and invisible regions. Our method firstly creates an animatable avatar for the subject from a small number (~20) of 3D scans as a prior. Then given a monocular RGB video of this subject, our method integrates information from both the image observation and the avatar prior, and accordingly recon-structs high-fidelity 3D textured models with dynamic details regardless of the visibility. To learn an effective avatar for volumetric capture from only few samples, we propose GeoTexAvatar, which leverages both geometry and texture supervisions to constrain the pose-dependent dynamics in a decomposed implicit manner. An avatar-conditioned volumetric capture method that involves a canonical normal fusion and a reconstruction network is further proposed to integrate both image observations and avatar dynamics for high-fidelity reconstruction in both observed and invisible regions. Overall, our method enables monocular human volumetric capture with detailed and pose-dependent dynamics, and the experiments show that our method outperforms state of the art. Code is available at https://github.com/lizhe00/AvatarCap.
updated: Tue Jul 05 2022 13:21:01 GMT+0000 (UTC)
published: Tue Jul 05 2022 13:21:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト