arXiv reaDer
モーションパズル:体の部分による任意のモーションスタイルの転送
Motion Puzzle: Arbitrary Motion Style Transfer by Body Part
この論文では、いくつかの重要な点で最先端を進歩させる新しいモーションスタイル転送ネットワークであるモーションパズルを紹介します。モーションパズルは、個々の体の部分のモーションスタイルを制御できる最初のパズルであり、ローカルスタイルの編集を可能にし、定型化されたモーションの範囲を大幅に拡大します。人間の運動学的構造を維持するように設計されたフレームワークは、さまざまな体の部分の複数のスタイルモーションからスタイルの特徴を抽出し、それらをターゲットの体の部分にローカルに転送します。もう1つの大きな利点は、スケルトントポロジを維持しながら、アダプティブインスタンスの正規化モジュールとアテンションモジュールを統合することで、モーションスタイルのグローバル特性とローカル特性の両方を転送できることです。これにより、羽ばたきやよろめきなどのダイナミックな動きが示すスタイルを、前作よりも大幅に上手く捉えることができます。さらに、私たちのフレームワークは、スタイルラベリングまたはモーションペアリングを使用したデータセットなしで任意のモーションスタイル転送を可能にし、多くの公開されているモーションデータセットをトレーニングに利用できるようにします。当社のフレームワークは、モーション生成フレームワークと簡単に統合して、リアルタイムモーション転送などの多くのアプリケーションを作成できます。いくつかの例と以前の作業との比較により、フレームワークの利点を示します。
This paper presents Motion Puzzle, a novel motion style transfer network that advances the state-of-the-art in several important respects. The Motion Puzzle is the first that can control the motion style of individual body parts, allowing for local style editing and significantly increasing the range of stylized motions. Designed to keep the human's kinematic structure, our framework extracts style features from multiple style motions for different body parts and transfers them locally to the target body parts. Another major advantage is that it can transfer both global and local traits of motion style by integrating the adaptive instance normalization and attention modules while keeping the skeleton topology. Thus, it can capture styles exhibited by dynamic movements, such as flapping and staggering, significantly better than previous work. In addition, our framework allows for arbitrary motion style transfer without datasets with style labeling or motion pairing, making many publicly available motion datasets available for training. Our framework can be easily integrated with motion generation frameworks to create many applications, such as real-time motion transfer. We demonstrate the advantages of our framework with a number of examples and comparisons with previous work.
updated: Mon Jul 11 2022 00:02:08 GMT+0000 (UTC)
published: Thu Feb 10 2022 19:56:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト