arXiv reaDer
3DFaceFill:顔の完成への合成による分析アプローチ
3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion
既存の顔補完ソリューションは、主に、2Dマスクされた顔の2D補完を直接生成するエンドツーエンドモデルによって駆動されます。顔の形や外観の幾何学的および測光的変化を暗黙的に考慮する必要があるため、このようなアプローチは、特にポーズ、形、照明、マスクサイズの大きな変化の下で、非現実的な完成をもたらします。これらの制限を緩和するために、3DFaceFillを導入します。これは、画像形成プロセスを明示的に考慮した、顔の完成のための合成による分析アプローチです。これは、(1)顔を構成要素の3Dメッシュ、3Dポーズ、照明、アルベドファクターに解きほぐすエンコーダー、(2)顔のアルベドのUV表現を修復するオートエンコーダー、(3)再合成するレンダラーの3つのコンポーネントで構成されます。完成した顔。 3DFaceFillは、UV表現を操作することにより、対応の力を提供し、幾何学的な事前分布(顔の対称性など)をより効果的に自然に適用できるようにします。定量的には、3DFaceFillは、大きなマスクに対して最大4dB高いPSNRと25%優れたLPIPSによって最先端を改善します。そして、定性的には、グローバルおよびコンポーネントごとの形状、ポーズ、照明、視線の一貫性を維持しながら、さまざまなマスクやオクルージョンで明らかにフォトリアリスティックな顔の完成につながります。
Existing face completion solutions are primarily driven by end-to-end models that directly generate 2D completions of 2D masked faces. By having to implicitly account for geometric and photometric variations in facial shape and appearance, such approaches result in unrealistic completions, especially under large variations in pose, shape, illumination and mask sizes. To alleviate these limitations, we introduce 3DFaceFill, an analysis-by-synthesis approach for face completion that explicitly considers the image formation process. It comprises three components, (1) an encoder that disentangles the face into its constituent 3D mesh, 3D pose, illumination and albedo factors, (2) an autoencoder that inpaints the UV representation of facial albedo, and (3) a renderer that resynthesizes the completed face. By operating on the UV representation, 3DFaceFill affords the power of correspondence and allows us to naturally enforce geometrical priors (e.g. facial symmetry) more effectively. Quantitatively, 3DFaceFill improves the state-of-the-art by up to 4dB higher PSNR and 25% better LPIPS for large masks. And, qualitatively, it leads to demonstrably more photorealistic face completions over a range of masks and occlusions while preserving consistency in global and component-wise shape, pose, illumination and eye-gaze.
updated: Wed Oct 20 2021 06:31:47 GMT+0000 (UTC)
published: Wed Oct 20 2021 06:31:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト