arXiv reaDer
SNARF:非剛体の神経陰的形状をアニメーション化するための微分可能なフォワードスキニング
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
神経陰関数曲面表現は、3D形状を連続的かつ解像度に依存しない方法でキャプチャするための有望なパラダイムとして浮上しています。ただし、それらを関節形状に適合させることは簡単ではありません。既存のアプローチは、変形を正準点にマッピングする後方ワープフィールドを学習します。ただし、後方ワープフィールドはポーズに依存し、学習するために大量のデータを必要とするため、これは問題があります。これに対処するために、SNARFを導入します。これは、直接の監視なしで前方変形フィールドを学習することにより、ポリゴンメッシュの線形ブレンドスキニング(LBS)の利点と神経陰関数曲面の利点を組み合わせたものです。この変形フィールドは、標準的なポーズに依存しない空間で定義され、見えないポーズへの一般化を可能にします。変形されたポイントの対応は暗黙的に定義され、トポロジの変更では一意ではない可能性があるため、ポーズをとったメッシュだけから変形フィールドを学習することは困難です。反復求根アルゴリズムを使用して、変形した点のすべての正規対応を見つけるフォワードスキニングモデルを提案します。暗黙の微分を介して分析勾配を導き出し、骨変換を伴う3Dメッシュからのエンドツーエンドのトレーニングを可能にします。最先端の神経陰的表現と比較して、私たちのアプローチは、正確さを維持しながら、目に見えないポーズによりよく一般化します。多様で目に見えないポーズの(服を着た)3D人間の挑戦的なシナリオで私たちの方法を示します。
Neural implicit surface representations have emerged as a promising paradigm to capture 3D shapes in a continuous and resolution-independent manner. However, adapting them to articulated shapes is non-trivial. Existing approaches learn a backward warp field that maps deformed to canonical points. However, this is problematic since the backward warp field is pose dependent and thus requires large amounts of data to learn. To address this, we introduce SNARF, which combines the advantages of linear blend skinning (LBS) for polygonal meshes with those of neural implicit surfaces by learning a forward deformation field without direct supervision. This deformation field is defined in canonical, pose-independent space, allowing for generalization to unseen poses. Learning the deformation field from posed meshes alone is challenging since the correspondences of deformed points are defined implicitly and may not be unique under changes of topology. We propose a forward skinning model that finds all canonical correspondences of any deformed point using iterative root finding. We derive analytical gradients via implicit differentiation, enabling end-to-end training from 3D meshes with bone transformations. Compared to state-of-the-art neural implicit representations, our approach generalizes better to unseen poses while preserving accuracy. We demonstrate our method in challenging scenarios on (clothed) 3D humans in diverse and unseen poses.
updated: Mon Nov 29 2021 13:23:52 GMT+0000 (UTC)
published: Thu Apr 08 2021 17:54:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト