ビデオデモンストレーションが与えられた場合、このビデオに含まれているアクションを模倣できますか?この論文では、メッシュベースのアクション模倣と呼ばれる新しいタスクを紹介します。このタスクの目的は、任意のターゲットヒューマンメッシュがビデオデモンストレーションに示されているのと同じアクションを実行できるようにすることです。これを達成するために、新しいメッシュベースのビデオアクションイミテーション(M-VAI)メソッドが提案されています。 M-VAIは、最初に指定されたソース画像フレームからメッシュを再構築することを学習し、次に最初に復元されたメッシュシーケンスをmesh2meshにフィードします。これは、時間的一貫性を向上させるために提案されたメッシュシーケンススムーズモジュールです。最後に、構築された人体からターゲットIDメッシュにポーズを転送することにより、アクションを模倣します。 M-VAIを使用することで、高品質で詳細な人体メッシュを生成できます。広範な実験は、私たちのタスクの実現可能性と提案された方法の有効性を示しています。
Given a video demonstration, can we imitate the action contained in this video? In this paper, we introduce a novel task, dubbed mesh-based action imitation. The goal of this task is to enable an arbitrary target human mesh to perform the same action shown on the video demonstration. To achieve this, a novel Mesh-based Video Action Imitation (M-VAI) method is proposed by us. M-VAI first learns to reconstruct the meshes from the given source image frames, then the initial recovered mesh sequence is fed into mesh2mesh, a mesh sequence smooth module proposed by us, to improve the temporal consistency. Finally, we imitate the actions by transferring the pose from the constructed human body to our target identity mesh. High-quality and detailed human body meshes can be generated by using our M-VAI. Extensive experiments demonstrate the feasibility of our task and the effectiveness of our proposed method.