忠実度の高いアニメーション化可能な人間のアバターをビデオから効率的にデジタル化することは、挑戦的で活発な研究テーマです。最近のボリューム レンダリング ベースのニューラル表現は、使いやすさと写真のようにリアルな再構成品質により、人間のデジタル化に新しい道を開きます。ただし、最適化に時間がかかり、推論速度が遅い場合は非効率的です。それらの暗黙の性質により、人間のジオメトリ、マテリアル、およびダイナミクスが絡み合い、後で編集するのが困難になります。このような欠点があるため、ダウンストリーム アプリケーション、特に顕著なラスタライズ ベースのグラフィック アプリケーションに直接適用することができません。メッシュ状のニューラル フィールドを効率的に学習して、アニメート可能な人間のアバターを再構築する方法である EMA を紹介します。エンド ツー エンド方式での逆レンダリングを介して、明示的な三角正準メッシュ、空間可変マテリアル、およびモーション ダイナミクスを共同で最適化します。上記の各コンポーネントは、個別のニューラル フィールドから派生し、テンプレートまたはリギングの要件を緩和します。メッシュ表現は、効率的なラスター化ベースのレンダラーとの互換性が高いため、この方法は約 1 時間のトレーニングだけでリアルタイムでレンダリングできます。さらに、もっともらしい再構成結果を得るには、数分の最適化で十分です。メッシュのもつれを解くことで、直接下流のアプリケーションが可能になります。広範な実験により、以前の方法に対して非常に競争力のあるパフォーマンスと大幅な速度向上が示されました。また、斬新なポーズ合成、マテリアル編集、リライティングなどのアプリケーションも紹介します。プロジェクト ページ: https://xk-huang.github.io/ema/。
Efficiently digitizing high-fidelity animatable human avatars from videos is a challenging and active research topic. Recent volume rendering-based neural representations open a new way for human digitization with their friendly usability and photo-realistic reconstruction quality. However, they are inefficient for long optimization times and slow inference speed; their implicit nature results in entangled geometry, materials, and dynamics of humans, which are hard to edit afterward. Such drawbacks prevent their direct applicability to downstream applications, especially the prominent rasterization-based graphic ones. We present EMA, a method that Efficiently learns Meshy neural fields to reconstruct animatable human Avatars. It jointly optimizes explicit triangular canonical mesh, spatial-varying material, and motion dynamics, via inverse rendering in an end-to-end fashion. Each above component is derived from separate neural fields, relaxing the requirement of a template, or rigging. The mesh representation is highly compatible with the efficient rasterization-based renderer, thus our method only takes about an hour of training and can render in real-time. Moreover, only minutes of optimization is enough for plausible reconstruction results. The disentanglement of meshes enables direct downstream applications. Extensive experiments illustrate the very competitive performance and significant speed boost against previous methods. We also showcase applications including novel pose synthesis, material editing, and relighting. The project page: https://xk-huang.github.io/ema/.