モデルのバリエーションと表現力を高めるために、ローカルウェイトを使用した3D顔生成モデルを提案します。提案されたモデルは、顔全体のメッシュを学習しながら、顔の部分的な操作を可能にします。この目的のために、データ全体から局所的な顔の特徴を抽出する効果的な方法に取り組み、全体的な生成中にそれらを操作する方法を探ります。まず、顔全体の潜在空間を、顔のさまざまな部分を示す部分空間に因数分解します。さらに、非負行列因数分解によって生成された局所的な重みが因数分解された潜在空間に適用されるため、分解された部分空間は意味的に意味があります。モデルを実験して、効果的な顔の部分の操作が可能であり、モデルの表現力が向上していることを確認します。
We propose a 3D face generative model with local weights to increase the model's variations and expressiveness. The proposed model allows partial manipulation of the face while still learning the whole face mesh. For this purpose, we address an effective way to extract local facial features from the entire data and explore a way to manipulate them during a holistic generation. First, we factorize the latent space of the whole face to the subspace indicating different parts of the face. In addition, local weights generated by non-negative matrix factorization are applied to the factorized latent space so that the decomposed part space is semantically meaningful. We experiment with our model and observe that effective facial part manipulation is possible and that the model's expressiveness is improved.