arXiv reaDer
NPM:3D変形可能形状のニューラルパラメトリックモデル
NPMs: Neural Parametric Models for 3D Deformable Shapes
パラメトリック3Dモデルは、人体、顔、手のモデリングなど、コンピューターグラフィックスとビジョンのさまざまなタスクを可能にしました。ただし、これらのパラメトリックモデルの構築は、手作業による大幅な調整が必要であり、しわや衣服などの追加の複雑さや詳細を表現するのに苦労するため、面倒なことがよくあります。この目的のために、従来のパラメトリック3Dモデルに代わる、新しい学習済みのニューラルパラメトリックモデル(NPM)を提案します。これは、手作りのオブジェクト固有の制約を必要としません。特に、学習した陰関数の最近の開発の柔軟性を活用して、4Dダイナミクスを形状とポーズの潜在空間表現に解きほぐすことを学びます。重要なのは、一度学習すると、形状とポーズのニューラルパラメトリックモデルにより、SMPLなどの従来のパラメトリックモデルのフィッティングと同様に、学習した空間を最適化して新しい観測に適合させることができます。これにより、NPMは、観察された変形可能なシーケンスの非常に正確で詳細な表現を実現できます。 NPMは、衣服を着た人間と手の単眼深度シーケンスの再構築と追跡において、パラメトリックとノンパラメトリックの両方の最先端技術を大幅に改善することを示しています。潜在空間補間と形状/ポーズ転送実験は、NPMの有用性をさらに示しています。コードはhttps://pablopalafox.github.io/npmsで公開されています。
Parametric 3D models have enabled a wide variety of tasks in computer graphics and vision, such as modeling human bodies, faces, and hands. However, the construction of these parametric models is often tedious, as it requires heavy manual tweaking, and they struggle to represent additional complexity and details such as wrinkles or clothing. To this end, we propose Neural Parametric Models (NPMs), a novel, learned alternative to traditional, parametric 3D models, which does not require hand-crafted, object-specific constraints. In particular, we learn to disentangle 4D dynamics into latent-space representations of shape and pose, leveraging the flexibility of recent developments in learned implicit functions. Crucially, once learned, our neural parametric models of shape and pose enable optimization over the learned spaces to fit to new observations, similar to the fitting of a traditional parametric model, e.g., SMPL. This enables NPMs to achieve a significantly more accurate and detailed representation of observed deformable sequences. We show that NPMs improve notably over both parametric and non-parametric state of the art in reconstruction and tracking of monocular depth sequences of clothed humans and hands. Latent-space interpolation as well as shape/pose transfer experiments further demonstrate the usefulness of NPMs. Code is publicly available at https://pablopalafox.github.io/npms.
updated: Thu Aug 05 2021 13:56:28 GMT+0000 (UTC)
published: Thu Apr 01 2021 18:14:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト