自己訓練可能な方法であるMask2Handを紹介します。これは、手動で注釈を付けたデータを追加せずに、手のシルエット/影の2Dバイナリマスクから3D手のポーズと形状を予測するという難しいタスクを解決する方法を学習します。固有のカメラパラメータとカメラ空間のパラメトリックハンドモデルを考慮して、微分可能なレンダリング手法を採用して、3D推定を2Dバイナリシルエット空間に投影します。レンダリングされたシルエットと入力バイナリマスクの間に調整された損失の組み合わせを適用することにより、グローバルメッシュ登録と手のポーズ推定を制約するためのエンドツーエンドの最適化プロセスにセルフガイダンスメカニズムを統合することができます。実験は、入力として単一のバイナリマスクを使用する私たちの方法が、RGBまたは深度入力を必要とする最先端の方法として、非整列設定と整列設定の両方で同等の予測精度を達成できることを示しています。私たちのコードはhttps://github.com/lijenchang/Mask2Handで入手できます。
We present a self-trainable method, Mask2Hand, which learns to solve the challenging task of predicting 3D hand pose and shape from a 2D binary mask of hand silhouette/shadow without additional manually-annotated data. Given the intrinsic camera parameters and the parametric hand model in the camera space, we adopt the differentiable rendering technique to project 3D estimations onto the 2D binary silhouette space. By applying a tailored combination of losses between the rendered silhouette and the input binary mask, we are able to integrate the self-guidance mechanism into our end-to-end optimization process for constraining global mesh registration and hand pose estimation. The experiments show that our method, which takes a single binary mask as the input, can achieve comparable prediction accuracy on both unaligned and aligned settings as state-of-the-art methods that require RGB or depth inputs. Our code is available at https://github.com/lijenchang/Mask2Hand.