arXiv reaDer
ダンスの学習:オーディオからリアルなダンスモーションを生成するためのグラフ畳み込み敵対的ネットワーク
Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio
学習技術を通じて人間の動きを合成することは、アニメーションを作成するための新しいデータキャプチャの要件を緩和するためのますます一般的なアプローチになりつつあります。音楽から自然に動くこと、つまりダンスを学ぶことは、人間が楽に行うことが多い、より複雑な動きの1つです。それぞれのダンスの動きは独特ですが、そのような動きはダンススタイルのコア特性を維持しています。古典的な畳み込みおよび再帰型ニューラルモデルでこの問題に対処するほとんどのアプローチは、モーションマニホールド構造の非ユークリッド幾何学によるトレーニングと変動性の問題を経験します。この論文では、自動の問題に取り組むためにグラフ畳み込みネットワークに基づく新しい方法を設計します。音声情報からのダンス生成。私たちの方法は、入力された音楽オーディオを条件とする敵対的な学習スキームを使用して、さまざまな音楽スタイルの主要な動きを維持する自然な動きを作成します。生成メソッドの3つの定量的メトリックとユーザー調査を使用してメソッドを評価します。結果は、提案されたGCNモデルが、さまざまな実験で音楽を条件とした最先端のダンス生成方法よりも優れていることを示唆しています。さらに、グラフ畳み込みアプローチは、より単純で、トレーニングが容易であり、定性的およびさまざまな定量的メトリックに関してより現実的なモーションスタイルを生成することができます。また、実際のモーションデータに匹敵する視覚的な動きの知覚品質も示しました。
Synthesizing human motion through learning techniques is becoming an increasingly popular approach to alleviating the requirement of new data capture to produce animations. Learning to move naturally from music, i.e., to dance, is one of the more complex motions humans often perform effortlessly. Each dance movement is unique, yet such movements maintain the core characteristics of the dance style. Most approaches addressing this problem with classical convolutional and recursive neural models undergo training and variability issues due to the non-Euclidean geometry of the motion manifold structure.In this paper, we design a novel method based on graph convolutional networks to tackle the problem of automatic dance generation from audio information. Our method uses an adversarial learning scheme conditioned on the input music audios to create natural motions preserving the key movements of different music styles. We evaluate our method with three quantitative metrics of generative methods and a user study. The results suggest that the proposed GCN model outperforms the state-of-the-art dance generation method conditioned on music in different experiments. Moreover, our graph-convolutional approach is simpler, easier to be trained, and capable of generating more realistic motion styles regarding qualitative and different quantitative metrics. It also presented a visual movement perceptual quality comparable to real motion data.
updated: Mon Nov 30 2020 17:59:15 GMT+0000 (UTC)
published: Wed Nov 25 2020 19:53:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト