arXiv reaDer
画像とビデオからの学習ベースの表現転送による顔-頭-首の生体力学的複合体の神経筋制御
Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos
人から3D顔モデルへの顔の表情の転送は、古典的なコンピュータグラフィックスの問題です。この論文では、顔の表情と頭の動きを画像やビデオから顔と頭の首の複合体の生体力学的モデルに転送するための、新しい学習ベースのアプローチを紹介します。表情空間の中間表現としてFacialAction Coding System(FACS)を活用し、FACS Action Unit(AU)を取り込み、筋骨格モデルに適した顔の筋肉と顎の活性化信号を出力するように、ディープニューラルネットワークをトレーニングします。生体力学的シミュレーションを通じて、活性化は顔の軟組織を変形させ、それによって表現をモデルに転送します。私たちのアプローチには、以前のアプローチに比べて利点があります。まず、生体力学的モデルが顔、頭、首の関連する解剖学的構造をエミュレートするため、顔の表情は解剖学的に一貫しています。第二に、生体力学的モデル自体から生成されたデータを使用してニューラルネットワークをトレーニングすることにより、発現転送のためのデータ収集の手作業を排除します。私たちのアプローチの成功は、さまざまな顔の画像やビデオから顔の表情や頭のポーズの顔-頭-首モデルへの転送を含む実験を通じて実証されています。
The transfer of facial expressions from people to 3D face models is a classic computer graphics problem. In this paper, we present a novel, learning-based approach to transferring facial expressions and head movements from images and videos to a biomechanical model of the face-head-neck complex. Leveraging the Facial Action Coding System (FACS) as an intermediate representation of the expression space, we train a deep neural network to take in FACS Action Units (AUs) and output suitable facial muscle and jaw activation signals for the musculoskeletal model. Through biomechanical simulation, the activations deform the facial soft tissues, thereby transferring the expression to the model. Our approach has advantages over previous approaches. First, the facial expressions are anatomically consistent as our biomechanical model emulates the relevant anatomy of the face, head, and neck. Second, by training the neural network using data generated from the biomechanical model itself, we eliminate the manual effort of data collection for expression transfer. The success of our approach is demonstrated through experiments involving the transfer onto our face-head-neck model of facial expressions and head poses from a range of facial images and videos.
updated: Fri Nov 12 2021 01:13:07 GMT+0000 (UTC)
published: Fri Nov 12 2021 01:13:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト