ハンドモデリングは、没入型VR / AR、アクションの理解、または人間のヘルスケアにとって重要です。既存のパラメトリックモデルは、現実的な手の生体力学分析に不可欠な骨などの解剖学的属性をモデル化せずに、手の形状、ポーズ、またはテクスチャのみを考慮します。この論文では、MRIデータから人間の手の最初のパラメトリック骨モデルであるPIANOを紹介します。私たちのPIANOモデルは生物学的に正しく、アニメーション化が簡単で、微分可能であり、外面のみに基づく従来の手モデルよりも、データ駆動型の方法で内手の運動構造の解剖学的に正確なモデリングを実現します。さらに、私たちのPIANOモデルをニューラルネットワークレイヤーに適用して、きめ細かい意味損失を伴うトレーニングを可能にすることができます。これにより、MRIまたはRGB画像からのデータ駆動型のきめ細かい手の骨の解剖学的および意味的理解の新しいタスクが開かれます。モデルを公開します。
Hand modeling is critical for immersive VR/AR, action understanding, or human healthcare. Existing parametric models account only for hand shape, pose, or texture, without modeling the anatomical attributes like bone, which is essential for realistic hand biomechanics analysis. In this paper, we present PIANO, the first parametric bone model of human hands from MRI data. Our PIANO model is biologically correct, simple to animate, and differentiable, achieving more anatomically precise modeling of the inner hand kinematic structure in a data-driven manner than the traditional hand models based on the outer surface only. Furthermore, our PIANO model can be applied in neural network layers to enable training with a fine-grained semantic loss, which opens up the new task of data-driven fine-grained hand bone anatomic and semantic understanding from MRI or even RGB images. We make our model publicly available.