arXiv reaDer
可逆ニューラル スキニング
Invertible Neural Skinning
生の 3D スキャンとポーズから、アニメート可能で編集可能な衣服を着た人間のモデルを構築することは、困難な問題です。既存の再配置方法は、リニア ブレンド スキニング (LBS) の限られた表現力に悩まされ、新しいポーズを生成するためにコストのかかるメッシュ抽出を必要とし、通常、さまざまなポーズ間でサーフェスの対応を保持しません。この作業では、これらの欠点に対処するために Invertible Neural Skinning (INS) を導入します。対応を維持するために、ポーズによって変化する追加の変形を学習することで LBS プロセスを拡張する、ポーズ条件付き反転ネットワーク (PIN) アーキテクチャを提案します。次に、PIN を微分可能な LBS モジュールと組み合わせて、表現力豊かなエンドツーエンドの Invertible Neural Skinning (INS) パイプラインを構築します。服を着た人間に対する最先端のリポーズ手法よりも優れており、表面の対応を維持しながら、桁違いに高速であることにより、この方法の強力なパフォーマンスを実証します。また、アブレーション研究も行い、ポーズ条件付け定式化の有用性を示し、定性的な結果は、INS が LBS によって導入されたアーティファクトを適切に修正できることを示しています。詳細については、Web ページを参照してください: https://yashkant.github.io/invertible-neural-skinning/
Building animatable and editable models of clothed humans from raw 3D scans and poses is a challenging problem. Existing reposing methods suffer from the limited expressiveness of Linear Blend Skinning (LBS), require costly mesh extraction to generate each new pose, and typically do not preserve surface correspondences across different poses. In this work, we introduce Invertible Neural Skinning (INS) to address these shortcomings. To maintain correspondences, we propose a Pose-conditioned Invertible Network (PIN) architecture, which extends the LBS process by learning additional pose-varying deformations. Next, we combine PIN with a differentiable LBS module to build an expressive and end-to-end Invertible Neural Skinning (INS) pipeline. We demonstrate the strong performance of our method by outperforming the state-of-the-art reposing techniques on clothed humans and preserving surface correspondences, while being an order of magnitude faster. We also perform an ablation study, which shows the usefulness of our pose-conditioning formulation, and our qualitative results display that INS can rectify artefacts introduced by LBS well. See our webpage for more details: https://yashkant.github.io/invertible-neural-skinning/
updated: Sun Mar 05 2023 02:37:06 GMT+0000 (UTC)
published: Sat Feb 18 2023 04:12:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト