arXiv reaDer
NIMBLE:骨と筋肉を備えた非剛体のハンドモデル
NIMBLE: A Non-rigid Hand Model with Bones and Muscles
新たなメタバースアプリケーションは、現実世界のように洗練された操作を実行するために、人間の手の信頼性が高く、正確で、フォトリアリスティックな複製を必要とします。実際の人間の手は、骨、筋肉、腱、皮膚の間の最も複雑な調整の1つを表していますが、最先端の技術は、手の骨格のみのモデリングに全会一致で焦点を当てています。この論文では、欠落している主要コンポーネントを含む新しいパラメトリックハンドモデルであるNIMBLEを紹介し、3Dハンドモデルを新しいレベルのリアリズムに導きます。まず、最近の磁気共鳴画像法の手(MRI-Hand)データセットで筋肉、骨、皮膚に注釈を付け、次にデータセット内の個々のポーズと被験者に体積テンプレートの手を登録します。 NIMBLEは、三角形メッシュとしての20個のボーン、四面体メッシュとしての7個の筋肉グループ、およびスキンメッシュで構成されています。反復的な形状登録とパラメータ学習を介して、形状ブレンド形状、ポーズブレンド形状、およびジョイントリグレッサをさらに生成します。 NIMBLEをモデリング、レンダリング、および視覚的推論タスクに適用する方法を示します。 NIMBLEは、解剖学的および運動学的な規則に一致するように内側の骨と筋肉を強化することにより、前例のないリアリズムで3D手を新しいポーズにアニメーション化できます。肌の外観をモデル化するために、さらに測光HandStageを構築して、しわや掌紋をモデル化するための高品質のテクスチャと法線マップを取得します。最後に、NIMBLEは、豊富なデータを合成するか、推論ネットワークで微分可能なレイヤーとして直接機能することにより、学習ベースの手のポーズと形状の推定にも役立ちます。
Emerging Metaverse applications demand reliable, accurate, and photorealistic reproductions of human hands to perform sophisticated operations as if in the physical world. While real human hand represents one of the most intricate coordination between bones, muscle, tendon, and skin, state-of-the-art techniques unanimously focus on modeling only the skeleton of the hand. In this paper, we present NIMBLE, a novel parametric hand model that includes the missing key components, bringing 3D hand model to a new level of realism. We first annotate muscles, bones and skins on the recent Magnetic Resonance Imaging hand (MRI-Hand) dataset and then register a volumetric template hand onto individual poses and subjects within the dataset. NIMBLE consists of 20 bones as triangular meshes, 7 muscle groups as tetrahedral meshes, and a skin mesh. Via iterative shape registration and parameter learning, it further produces shape blend shapes, pose blend shapes, and a joint regressor. We demonstrate applying NIMBLE to modeling, rendering, and visual inference tasks. By enforcing the inner bones and muscles to match anatomic and kinematic rules, NIMBLE can animate 3D hands to new poses at unprecedented realism. To model the appearance of skin, we further construct a photometric HandStage to acquire high-quality textures and normal maps to model wrinkles and palm print. Finally, NIMBLE also benefits learning-based hand pose and shape estimation by either synthesizing rich data or acting directly as a differentiable layer in the inference network.
updated: Mon Jul 18 2022 06:41:58 GMT+0000 (UTC)
published: Wed Feb 09 2022 15:57:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト