顔のスペキュラリティなどの非ランバート効果をモデル化すると、よりリアルな 3D モーファブル顔モデルが得られます。既存の作品では、Light Stage データを使用して拡散アルベドと鏡面アルベドのパラメトリック モデルを構築しています。ただし、拡散アルベドと鏡面反射アルベドだけでは、完全な BRDF を決定できません。さらに、Light Stage データの要件を研究コミュニティで満たすのは困難です。この論文では、低コストの公的に入手可能なデータのみを使用して、BRDF が空間的に変化する最初の 3D モーフィング可能な顔反射率モデルを提案します。空間的に変化するスペキュラーの強度と輝きを表現するために、パラメトリック モデリングに線形の輝きの重み付けを適用します。次に、ライト ステージ以外のデータから反射率パラメータを再構築するための逆レンダリング アルゴリズムが開発されます。これは、初期のモーフィング可能な反射率モデルのトレーニングに使用されます。モデルの一般化機能と表現力を強化するために、再構築による更新戦略をさらに提案して、野生のデータセットでモデルを微調整します。実験結果は、私たちの方法がもっともらしい顔の鏡面反射率でまともなレンダリング結果を取得することを示しています。コードは https://yxuhan.github.io/ReflectanceMM/index.html{magentahere} で公開されています。
Modeling non-Lambertian effects such as facial specularity leads to a more realistic 3D Morphable Face Model. Existing works build parametric models for diffuse and specular albedo using Light Stage data. However, only diffuse and specular albedo cannot determine the full BRDF. In addition, the requirement of Light Stage data is hard to fulfill for the research communities. This paper proposes the first 3D morphable face reflectance model with spatially varying BRDF using only low-cost publicly-available data. We apply linear shiness weighting into parametric modeling to represent spatially varying specular intensity and shiness. Then an inverse rendering algorithm is developed to reconstruct the reflectance parameters from non-Light Stage data, which are used to train an initial morphable reflectance model. To enhance the model's generalization capability and expressive power, we further propose an update-by-reconstruction strategy to finetune it on an in-the-wild dataset. Experimental results show that our method obtains decent rendering results with plausible facial specularities. Our code is released https://yxuhan.github.io/ReflectanceMM/index.html{magentahere}.