この論文では、テキストから 3D 人間の動きを生成するための深層学習ベースのモデルが、ジェスチャ アクション分類と自己回帰モデルによって提案されています。このモデルは、手を振る、うなずくなど、人間の思考を表現する特別なジェスチャーを生成することに重点を置いています。目標を達成するために、提案された方法は、事前学習済みの言語モデルに基づくテキスト分類モデルを使用して文から表現を予測し、ゲート再帰ユニットベースの自己回帰モデルを使用してジェスチャを生成します。特に、生の動きを復元し、中間の動きをうまく生成するために、埋め込み空間の損失を提案しました。さらに、可変長モーションを生成するために、新しいデータ拡張方法とストップトークンが提案されています。テキスト分類モデルと 3D ヒューマン モーション生成モデルを評価するために、ジェスチャ アクション分類データセットとアクション ベースのジェスチャ データセットが収集されます。いくつかの実験により、提案された方法は、テキストから知覚的に自然でリアルな 3D 人間の動きを生成することに成功しました。さらに、公開されている行動認識データセットを使用して提案手法の有効性を検証し、データセット間の汎化性能を評価しました。
In this paper, a deep learning-based model for 3D human motion generation from the text is proposed via gesture action classification and an autoregressive model. The model focuses on generating special gestures that express human thinking, such as waving and nodding. To achieve the goal, the proposed method predicts expression from the sentences using a text classification model based on a pretrained language model and generates gestures using the gate recurrent unit-based autoregressive model. Especially, we proposed the loss for the embedding space for restoring raw motions and generating intermediate motions well. Moreover, the novel data augmentation method and stop token are proposed to generate variable length motions. To evaluate the text classification model and 3D human motion generation model, a gesture action classification dataset and action-based gesture dataset are collected. With several experiments, the proposed method successfully generates perceptually natural and realistic 3D human motion from the text. Moreover, we verified the effectiveness of the proposed method using a public-available action recognition dataset to evaluate cross-dataset generalization performance.