上半身のダイナミクスから自然で多様な 3D ハンド ジェスチャを予測することは、仮想アバターの作成において実用的でありながら困難な作業です。以前の作品では通常、2 つの手の非対称な動きが見過ごされ、全体的な方法で 2 つの手を生成するため、不自然な結果が生じていました。この作業では、ボディ ダイナミクスから自然で多様な 3D ハンド予測を実現するために、2 段階の 3D ハンド生成方法に基づく新しい両側ハンド エンタングルメントを紹介します。最初の段階では、2 つの手のもつれを解くブランチによって自然なハンド ジェスチャを生成することを目的としています。両手の非対称ジェスチャと動きを考慮して、残差学習によって身体と各手の間の空間的相互作用をモデル化するための空間残差メモリ (SRM) モジュールを導入します。 2つの手の動きの調整を強化します。体のダイナミクスを総合的に分析した後、Temporal-Motion Memory (TMM) モジュールを紹介します。 TMM は、身体のダイナミクスと 2 つの手の動きの間の時間的な関連付けを効果的にモデル化できます。第 2 段階は、一連の体の姿勢を考えると、3D の手の予測は非決定的でなければならないという洞察に基づいて構築されています。したがって、ステージ1からの初期出力に基づいて、3Dハンド予測をさらに多様化します。具体的には、勾配ベースのマルコフ連鎖モンテカルロ(MCMC)サンプリングによって非決定論的な手のジェスチャーを生成するためのプロトタイプメモリサンプリング戦略(PSS)を提案します。広範な実験により、私たちの方法が B2H データセットと新しく収集された TED Hands データセットの最先端のモデルよりも優れていることが実証されています。データセットとコードは、https://github.com/XingqunQi-lab/Diverse-3D-Hand-Gesture-Prediction で入手できます。
Predicting natural and diverse 3D hand gestures from the upper body dynamics is a practical yet challenging task in virtual avatar creation. Previous works usually overlook the asymmetric motions between two hands and generate two hands in a holistic manner, leading to unnatural results. In this work, we introduce a novel bilateral hand disentanglement based two-stage 3D hand generation method to achieve natural and diverse 3D hand prediction from body dynamics. In the first stage, we intend to generate natural hand gestures by two hand-disentanglement branches. Considering the asymmetric gestures and motions of two hands, we introduce a Spatial-Residual Memory (SRM) module to model spatial interaction between the body and each hand by residual learning. To enhance the coordination of two hand motions wrt. body dynamics holistically, we then present a Temporal-Motion Memory (TMM) module. TMM can effectively model the temporal association between body dynamics and two hand motions. The second stage is built upon the insight that 3D hand predictions should be non-deterministic given the sequential body postures. Thus, we further diversify our 3D hand predictions based on the initial output from the stage one. Concretely, we propose a Prototypical-Memory Sampling Strategy (PSS) to generate the non-deterministic hand gestures by gradient-based Markov Chain Monte Carlo (MCMC) sampling. Extensive experiments demonstrate that our method outperforms the state-of-the-art models on the B2H dataset and our newly collected TED Hands dataset. The dataset and code are available at https://github.com/XingqunQi-lab/Diverse-3D-Hand-Gesture-Prediction.