arXiv reaDer
BabyNet:未校正の写真から赤ちゃんの3D顔を再構築する
BabyNet: Reconstructing 3D faces of babies from uncalibrated photographs
キャリブレーションされていない写真、BabyNetから赤ちゃんの3D顔の形状を復元することを目的とした3D顔再構成システムを紹介します。赤ちゃんの3D顔の形状は大人のそれとは大幅に異なるため、赤ちゃん固有の顔の再構成システムが必要です。 BabyNetは、次の2つの段階で構成されています。1)3Dグラフ畳み込みオートエンコーダーは、赤ちゃんの3D顔の形の潜在空間を学習します。 2)転移学習を使用して抽出された代表的な特徴に基づいて写真を3D潜在空間にマッピングする2Dエンコーダー。このように、事前にトレーニングされた3Dデコーダーを使用して、2D画像から3D顔を復元できます。 BabyNetを評価し、1)成人のデータセットに基づく方法では、赤ちゃんの3D顔の形状をモデル化できないことを示します。これは、赤ちゃん固有の方法の必要性を証明しています。2)BabyNetは、赤ちゃん固有の3Dの場合でも、従来のモデルフィッティング方法よりも優れています。 BabyFMなどのモーフィング可能なモデルが使用されます。
We present a 3D face reconstruction system that aims at recovering the 3D facial geometry of babies from uncalibrated photographs, BabyNet. Since the 3D facial geometry of babies differs substantially from that of adults, baby-specific facial reconstruction systems are needed. BabyNet consists of two stages: 1) a 3D graph convolutional autoencoder learns a latent space of the baby 3D facial shape; and 2) a 2D encoder that maps photographs to the 3D latent space based on representative features extracted using transfer learning. In this way, using the pre-trained 3D decoder, we can recover a 3D face from 2D images. We evaluate BabyNet and show that 1) methods based on adult datasets cannot model the 3D facial geometry of babies, which proves the need for a baby-specific method, and 2) BabyNet outperforms classical model-fitting methods even when a baby-specific 3D morphable model, such as BabyFM, is used.
updated: Fri Mar 11 2022 13:26:25 GMT+0000 (UTC)
published: Fri Mar 11 2022 13:26:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト