arXiv reaDer
単眼RGBビデオからのアニメート可能な神経放射輝度フィールド
Animatable Neural Radiance Fields from Monocular RGB Videos
単眼ビデオから詳細な人間のアバターを作成するためのアニメーション化可能な神経放射輝度フィールド(アニメーション化可能なNeRF)を提示します。私たちのアプローチは、シーン表現ネットワークを学習しながら、明示的なポーズ誘導変形を導入することにより、人間の動きを伴う動的シーンに神経放射輝度フィールド(NeRF)を拡張します。特に、各フレームの人間のポーズを推定し、詳細な人間のテンプレートの一定の標準空間を学習します。これにより、ポーズパラメータの明示的な制御の下で、観測空間から標準空間への自然な形状変形が可能になります。不正確なポーズ推定を補正するために、学習プロセス中に初期ポーズを更新するポーズ改良戦略を導入します。これは、より正確な人間の再構築を学習するのに役立つだけでなく、収束を加速します。実験では、提案されたアプローチが1)高品質の詳細による暗黙の人間のジオメトリと外観の再構築、2)斬新なビューからの人間の写実的なレンダリング、および3)斬新なポーズによる人間のアニメーションを実現することを示します。
We present animatable neural radiance fields (animatable NeRF) for detailed human avatar creation from monocular videos. Our approach extends neural radiance fields (NeRF) to the dynamic scenes with human movements via introducing explicit pose-guided deformation while learning the scene representation network. In particular, we estimate the human pose for each frame and learn a constant canonical space for the detailed human template, which enables natural shape deformation from the observation space to the canonical space under the explicit control of the pose parameters. To compensate for inaccurate pose estimation, we introduce the pose refinement strategy that updates the initial pose during the learning process, which not only helps to learn more accurate human reconstruction but also accelerates the convergence. In experiments we show that the proposed approach achieves 1) implicit human geometry and appearance reconstruction with high-quality details, 2) photo-realistic rendering of the human from novel views, and 3) animation of the human with novel poses.
updated: Tue Sep 07 2021 08:32:39 GMT+0000 (UTC)
published: Fri Jun 25 2021 13:32:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト