最近人気のあるロールプレイング ゲーム (RPG) では、キャラクターの自動作成システムが大きな成功を収めました。連続パラメーター (ボーンの位置など) と離散パラメーター (ヘアスタイルなど) によって制御されるボーン駆動の顔モデルにより、ユーザーはゲーム内のキャラクターをパーソナライズおよびカスタマイズできます。以前のゲーム内キャラクター自動作成システムは、ほとんどが画像駆動型であり、レンダリングされたキャラクターが参照顔写真に似るように顔パラメーターが最適化されていました。この論文では、テキストからパラメータへの新しい変換方法 (T2P) を提案して、ゼロショットのテキスト駆動型ゲーム キャラクタの自動作成を実現します。私たちの方法では、ユーザーは参照写真を使用したり、何百ものパラメーターを手動で編集したりすることなく、任意のテキスト説明で鮮やかなゲーム内キャラクターを作成できます。私たちの方法では、大規模な事前トレーニング済みのマルチモーダル CLIP とニューラル レンダリングの力を利用して、T2P は統合されたフレームワークで連続顔パラメータと離散顔パラメータの両方を検索します。パラメータ表現が不連続であるため、以前の方法では、個別の顔パラメータを効果的に学習することが困難でした。 T2P は、私たちの知る限り、離散パラメーターと連続パラメーターの両方の最適化を処理できる最初の方法です。実験結果は、T2P が与えられたテキスト プロンプトで高品質で鮮やかなゲーム キャラクターを生成できることを示しています。 T2P は、客観的評価と主観的評価の両方で、他の SOTA テキストから 3D への生成方法よりも優れています。
Recent popular Role-Playing Games (RPGs) saw the great success of character auto-creation systems. The bone-driven face model controlled by continuous parameters (like the position of bones) and discrete parameters (like the hairstyles) makes it possible for users to personalize and customize in-game characters. Previous in-game character auto-creation systems are mostly image-driven, where facial parameters are optimized so that the rendered character looks similar to the reference face photo. This paper proposes a novel text-to-parameter translation method (T2P) to achieve zero-shot text-driven game character auto-creation. With our method, users can create a vivid in-game character with arbitrary text description without using any reference photo or editing hundreds of parameters manually. In our method, taking the power of large-scale pre-trained multi-modal CLIP and neural rendering, T2P searches both continuous facial parameters and discrete facial parameters in a unified framework. Due to the discontinuous parameter representation, previous methods have difficulty in effectively learning discrete facial parameters. T2P, to our best knowledge, is the first method that can handle the optimization of both discrete and continuous parameters. Experimental results show that T2P can generate high-quality and vivid game characters with given text prompts. T2P outperforms other SOTA text-to-3D generation methods on both objective evaluations and subjective evaluations.