arXiv reaDer
CLIP-Actor:人間のメッシュをアニメーション化するためのテキスト駆動型の推奨とスタイル化
CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes
人間のメッシュアニメーションのためのテキスト駆動型モーション推奨およびニューラルメッシュスタイリングシステムであるCLIP-Actorを提案します。 CLIP-Actorは、モーションシーケンスを推奨し、メッシュスタイル属性を最適化することにより、テキストプロンプトに準拠するように3Dヒューマンメッシュをアニメーション化します。言語ラベル付きの大規模な人間の動きのデータセットを活用することにより、テキスト駆動の人間の動きの推奨システムを構築します。自然言語のプロンプトが与えられると、CLIP-Actorは、テキストに準拠した人間の動きを粗いものから細かいものへと提案します。次に、新しいゼロショットニューラルスタイルの最適化により、推奨されるメッシュシーケンスを詳細化およびテクスチャ化して、時間的に一貫性があり、ポーズにとらわれない方法でプロンプトに準拠します。これは、アーティストがデザインしたメッシュのポーズが最初からテキストに適合していない場合、前の作品がもっともらしい結果を生成できないという点で特徴的です。さらに、時空間ビューの拡張とマスク加重の埋め込み注意を提案します。これらは、マルチフレームの人間の動きを活用し、レンダリングが不十分なビューを拒否することで、最適化プロセスを安定させます。 CLIP-Actorが、自然言語のプロンプトのみから詳細なジオメトリとテクスチャを使用して、動きのあるもっともらしい、人間が認識できるスタイルの3Dヒューマンメッシュを生成することを示します。
We propose CLIP-Actor, a text-driven motion recommendation and neural mesh stylization system for human mesh animation. CLIP-Actor animates a 3D human mesh to conform to a text prompt by recommending a motion sequence and optimizing mesh style attributes. We build a text-driven human motion recommendation system by leveraging a large-scale human motion dataset with language labels. Given a natural language prompt, CLIP-Actor suggests a text-conforming human motion in a coarse-to-fine manner. Then, our novel zero-shot neural style optimization detailizes and texturizes the recommended mesh sequence to conform to the prompt in a temporally-consistent and pose-agnostic manner. This is distinctive in that prior work fails to generate plausible results when the pose of an artist-designed mesh does not conform to the text from the beginning. We further propose the spatio-temporal view augmentation and mask-weighted embedding attention, which stabilize the optimization process by leveraging multi-frame human motion and rejecting poorly rendered views. We demonstrate that CLIP-Actor produces plausible and human-recognizable style 3D human mesh in motion with detailed geometry and texture solely from a natural language prompt.
updated: Thu Jul 21 2022 07:43:04 GMT+0000 (UTC)
published: Thu Jun 09 2022 09:50:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト