arXiv reaDer
MeInGame:単一のポートレートからゲームキャラクターの顔を作成する
MeInGame: Create a Game Character Face from a Single Portrait
最近、多くの深層学習ベースの3D顔再構成法が提案されていますが、ゲームに適用できるものはほとんどありません。現在のゲームキャラクターのカスタマイズシステムでは、プレーヤーが必要な顔を取得するためにかなりの顔属性を手動で調整する必要があるか、顔の形状とテクスチャの自由度が制限されています。本稿では、1つのポートレートから顔の形と質感の両方を予測する自動キャラクター顔作成方法を提案し、既存のほとんどの3Dゲームに統合することができます。 3D Morphable Face Model(3DMM)ベースの方法では、単一の画像から正確な3D顔を復元できますが、3DMMメッシュのトポロジは、ほとんどのゲームで使用されるメッシュとは異なります。忠実度のテクスチャを取得するために、既存の方法ではトレーニングのために大量の顔のテクスチャデータが必要ですが、そのようなデータセットの構築には時間と手間がかかります。さらに、実験室の条件下で収集されたそのようなデータセットは、実際の状況にうまく一般化されない可能性があります。これらの問題に取り組むために、1)低コストの顔のテクスチャ取得方法、2)3DMMメッシュの形状をゲームに変換できる形状転送アルゴリズム、3)3Dゲームの顔再構成ネットワークをトレーニングするための新しいパイプラインを提案します。提案された方法は、入力されたポートレートに似た詳細で鮮やかなゲームキャラクターを生成できるだけでなく、照明やオクルージョンの影響を排除することもできます。実験によると、私たちの方法は、ゲームで使用されている最先端の方法よりも優れています。
Many deep learning based 3D face reconstruction methods have been proposed recently, however, few of them have applications in games. Current game character customization systems either require players to manually adjust considerable face attributes to obtain the desired face, or have limited freedom of facial shape and texture. In this paper, we propose an automatic character face creation method that predicts both facial shape and texture from a single portrait, and it can be integrated into most existing 3D games. Although 3D Morphable Face Model (3DMM) based methods can restore accurate 3D faces from single images, the topology of 3DMM mesh is different from the meshes used in most games. To acquire fidelity texture, existing methods require a large amount of face texture data for training, while building such datasets is time-consuming and laborious. Besides, such a dataset collected under laboratory conditions may not generalized well to in-the-wild situations. To tackle these problems, we propose 1) a low-cost facial texture acquisition method, 2) a shape transfer algorithm that can transform the shape of a 3DMM mesh to games, and 3) a new pipeline for training 3D game face reconstruction networks. The proposed method not only can produce detailed and vivid game characters similar to the input portrait, but can also eliminate the influence of lighting and occlusions. Experiments show that our method outperforms state-of-the-art methods used in games.
updated: Sun Feb 07 2021 03:27:07 GMT+0000 (UTC)
published: Thu Feb 04 2021 02:12:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト