arXiv reaDer
リアルなジェネレーティブ 3D 顔モデルに向けて
Towards Realistic Generative 3D Face Models
近年、アニメーション、合成データ生成、デジタル アバターなどのアプリケーションによって、2D 生成顔モデルが大幅に進歩しています。ただし、3D 情報がないため、これらの 2D モデルは、ポーズ、表情、照明などの顔の属性を正確に解くのに苦労し、編集機能が制限されます。この制限に対処するために、この論文では、既存の 2D 生成モデルを活用して、高品質のアルベドと正確な 3D 形状を生成する 3D 制御可能な生成顔モデルを提案します。この方法では、2D の顔生成モデルとセマンティックな顔の操作を組み合わせることで、詳細な 3D レンダリングされた顔の編集が可能になります。提案されたフレームワークは、形状とアルベドに対して交互降下最適化アプローチを利用します。微分可能レンダリングを使用して、3D 監視なしで高品質の形状とアルベドをトレーニングします。さらに、このアプローチは、形状再構築のためのよく知られている現在のベンチマークにおける最先端の (SOTA) 方法よりも優れています。また、新しいポーズ全体でレンダリングされた顔のアイデンティティを平均 10% 回復するという点で、SOTA 再構成モデルよりも優れています。さらに、この論文は、3D 顔のテキストベースの編集につながる潜在空間を活用することにより、3D 顔の表情を直接制御することを示しています。
In recent years, there has been significant progress in 2D generative face models fueled by applications such as animation, synthetic data generation, and digital avatars. However, due to the absence of 3D information, these 2D models often struggle to accurately disentangle facial attributes like pose, expression, and illumination, limiting their editing capabilities. To address this limitation, this paper proposes a 3D controllable generative face model to produce high-quality albedo and precise 3D shape leveraging existing 2D generative models. By combining 2D face generative models with semantic face manipulation, this method enables editing of detailed 3D rendered faces. The proposed framework utilizes an alternating descent optimization approach over shape and albedo. Differentiable rendering is used to train high-quality shapes and albedo without 3D supervision. Moreover, this approach outperforms the state-of-the-art (SOTA) methods in the well-known NoW benchmark for shape reconstruction. It also outperforms the SOTA reconstruction models in recovering rendered faces' identities across novel poses by an average of 10%. Additionally, the paper demonstrates direct control of expressions in 3D faces by exploiting latent space leading to text-based editing of 3D faces.
updated: Fri Oct 27 2023 00:29:01 GMT+0000 (UTC)
published: Mon Apr 24 2023 22:47:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト