arXiv reaDer
トランスフォーマーコントローラーを備えたキーフレームを介した多様なダンス合成
Diverse Dance Synthesis via Keyframes with Transformer Controllers
既存のキーフレームベースのモーション合成は、主に、歩行、ランニング、接近姿勢間の遷移などの周期的なアクションまたは短期間のモーションの生成に焦点を合わせています。ただし、これらの方法では、ダンスパフォーマンスや武道などの複雑で即興的な動きを処理するときに、合成された動きの自然さと多様性が大幅に低下します。さらに、現在の研究では、生成されたモーションをきめ細かく制御することができません。これは、人間とコンピューターのインテリジェントな相互作用とアニメーションの作成に不可欠です。本論文では、学習した知識を介して多様なダンス合成を実現できる、複数の制約に基づく新しいキーフレームベースのモーション生成ネットワークを提案します。具体的には、アルゴリズムは主にリカレントニューラルネットワーク(RNN)とTransformerアーキテクチャに基づいて定式化されます。私たちのネットワークのバックボーンは、2つの長短期記憶(LSTM)ユニットで構成される階層型RNNモジュールであり、最初のLSTMを使用して履歴フレームの姿勢情報を潜在空間に埋め込み、2番目のLSTMを使用します。次のフレームの人間の姿勢を予測します。さらに、フレームワークには2つのTransformerベースのコントローラーが含まれています。これらのコントローラーは、フレームの時間的コンテキストをより有効に活用し、きめ細かいモーション制御を実現するために、ルート軌道と速度係数の制約をそれぞれモデル化するために使用されます。幅広いコンテンポラリーダンスを含むダンスデータセットで提案されたアプローチを検証します。 3つの定量分析の結果は、アルゴリズムの優位性を検証します。ビデオと定性的な実験結果は、私たちのアルゴリズムによって生成された複雑なモーションシーケンスが、長期間の合成であっても、キーフレーム間の多様でスムーズなモーション遷移を実現できることを示しています。
Existing keyframe-based motion synthesis mainly focuses on the generation of cyclic actions or short-term motion, such as walking, running, and transitions between close postures. However, these methods will significantly degrade the naturalness and diversity of the synthesized motion when dealing with complex and impromptu movements, e.g., dance performance and martial arts. In addition, current research lacks fine-grained control over the generated motion, which is essential for intelligent human-computer interaction and animation creation. In this paper, we propose a novel keyframe-based motion generation network based on multiple constraints, which can achieve diverse dance synthesis via learned knowledge. Specifically, the algorithm is mainly formulated based on the recurrent neural network (RNN) and the Transformer architecture. The backbone of our network is a hierarchical RNN module composed of two long short-term memory (LSTM) units, in which the first LSTM is utilized to embed the posture information of the historical frames into a latent space, and the second one is employed to predict the human posture for the next frame. Moreover, our framework contains two Transformer-based controllers, which are used to model the constraints of the root trajectory and the velocity factor respectively, so as to better utilize the temporal context of the frames and achieve fine-grained motion control. We verify the proposed approach on a dance dataset containing a wide range of contemporary dance. The results of three quantitative analyses validate the superiority of our algorithm. The video and qualitative experimental results demonstrate that the complex motion sequences generated by our algorithm can achieve diverse and smooth motion transitions between keyframes, even for long-term synthesis.
updated: Wed Jul 13 2022 00:56:46 GMT+0000 (UTC)
published: Wed Jul 13 2022 00:56:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト