この作品では、音楽全体から鮮やかなダンスを生み出すことができる新しいディープラーニングフレームワークを提案します。問題をモーション状態パラメータのフレームの生成として定義する以前の作品とは対照的に、アニメーション業界の慣行に触発された、主要なポーズ間のモーションカーブの予測としてタスクを定式化します。 DanceNet3Dという名前の提案されたフレームワークは、最初に特定の音楽のビートにキーポーズを生成し、次に中間のモーションカーブを予測します。 DanceNet3Dは、トレーニングにエンコーダーデコーダーアーキテクチャと敵対的なスキームを採用しています。 DanceNet3Dのデコーダーは、モーション生成用に調整されたトランスフォーマーであるMoTrans上に構築されています。 MoTransでは、キネマティックチェーンネットワークによるキネマティック相関を紹介します。また、人間の動きの時間的ローカル相関を考慮に入れるために、Learned LocalAttentionモジュールを提案します。さらに、音楽との正確な同期を備えた、プロのアニメーターによって作成された最初の大規模なダンスデータセットであるPhantomDanceを提案します。広範な実験は、提案されたアプローチが流暢でエレガント、遂行的でビート同期された3Dダンスを生成できることを示しています。これは、以前の作品を量的および質的に大幅に上回っています。
In this work, we propose a novel deep learning framework that can generate a vivid dance from a whole piece of music. In contrast to previous works that define the problem as generation of frames of motion state parameters, we formulate the task as a prediction of motion curves between key poses, which is inspired by the animation industry practice. The proposed framework, named DanceNet3D, first generates key poses on beats of the given music and then predicts the in-between motion curves. DanceNet3D adopts the encoder-decoder architecture and the adversarial schemes for training. The decoders in DanceNet3D are constructed on MoTrans, a transformer tailored for motion generation. In MoTrans we introduce the kinematic correlation by the Kinematic Chain Networks, and we also propose the Learned Local Attention module to take the temporal local correlation of human motion into consideration. Furthermore, we propose PhantomDance, the first large-scale dance dataset produced by professional animatiors, with accurate synchronization with music. Extensive experiments demonstrate that the proposed approach can generate fluent, elegant, performative and beat-synchronized 3D dances, which significantly surpasses previous works quantitatively and qualitatively.