曲のダンスの振り付けは挑戦的な仕事であり、音楽のテーマとリズムを考慮しながら、独特のスタイルのダンス要素を提示する際に創造的でなければなりません。類似性の取得、シーケンス間のモデリング、生成的敵対的ネットワークなどのさまざまなアプローチで取り組んできましたが、生成されたダンスシーケンスは、モーションリアリズム、多様性、音楽の一貫性に欠けていることがよくあります。本稿では、音楽から3Dダンスの振り付けを生成する方法を学ぶために、最適なトランスポートネットワーク(MDOT-Net)を使用したMusic-to-Danceを提案します。生成されたダンス分布の信憑性を評価するための最適な輸送距離と、ダンス分布と入力音楽の間の対応を測定するためのGromov-Wasserstein距離を紹介します。これにより、不安定性や発散性の発電機損失の問題に悩まされることが多い標準的なGANトレーニングの制限を緩和する、明確に定義された非発散性のトレーニング目標が得られます。広範な実験により、MDOT-Netは、共有された志向性を反映し、リズミカルなアーティキュレーションと一致する、入力された音楽との有機的な統一を実現するリアルで多様なダンスを合成できることが実証されています。
Dance choreography for a piece of music is a challenging task, having to be creative in presenting distinctive stylistic dance elements while taking into account the musical theme and rhythm. It has been tackled by different approaches such as similarity retrieval, sequence-to-sequence modeling and generative adversarial networks, but their generated dance sequences are often short of motion realism, diversity and music consistency. In this paper, we propose a Music-to-Dance with Optimal Transport Network (MDOT-Net) for learning to generate 3D dance choreographs from music. We introduce an optimal transport distance for evaluating the authenticity of the generated dance distribution and a Gromov-Wasserstein distance to measure the correspondence between the dance distribution and the input music. This gives a well defined and non-divergent training objective that mitigates the limitation of standard GAN training which is frequently plagued with instability and divergent generator loss issues. Extensive experiments demonstrate that our MDOT-Net can synthesize realistic and diverse dances which achieve an organic unity with the input music, reflecting the shared intentionality and matching the rhythmic articulation.