手オブジェクト(HO)の相互作用をモデル化するには、HOポーズを推定する必要があるだけでなく、相互作用による接触にも注意を払います。ディープラーニング手法を使用して手とオブジェクトを別々に推定することで大きな進歩が見られ、HOポーズの同時推定と接触モデリングはまだ十分に検討されていません。この論文では、明示的な接触表現、すなわち接触電位場(CPF)と、手と物体の相互作用をモデル化するための学習適合ハイブリッドフレームワーク、すなわちMIHOを提示します。 CPFでは、接触する各HO頂点ペアをばね-質量システムとして扱います。したがって、システム全体が、把持位置で最小の弾性エネルギーでポテンシャル場を形成します。 2つの一般的に使用されるベンチマークでの広範な実験により、私たちの方法はいくつかの再構成メトリックで最先端を達成でき、グラウンドトゥルースが深刻な相互侵入またはばらばらを示している場合でも、より物理的にもっともらしいHOポーズを生成できることが実証されています。私たちのコードはhttps://github.com/lixiny/CPFで入手できます。
Modeling the hand-object (HO) interaction not only requires estimation of the HO pose, but also pays attention to the contact due to their interaction. Significant progress has been made in estimating hand and object separately with deep learning methods, simultaneous HO pose estimation and contact modeling has not yet been fully explored. In this paper, we present an explicit contact representation namely Contact Potential Field (CPF), and a learning-fitting hybrid framework namely MIHO to Modeling the Interaction of Hand and Object. In CPF, we treat each contacting HO vertex pair as a spring-mass system. Hence the whole system forms a potential field with minimal elastic energy at the grasp position. Extensive experiments on the two commonly used benchmarks have demonstrated that our method can achieve state-of-the-art in several reconstruction metrics, and allow us to produce more physically plausible HO pose even when the ground-truth exhibits severe interpenetration or disjointedness. Our code is available at https://github.com/lixiny/CPF.