arXiv reaDer
Fine_grained_Identity_Preserving_Landmark_Synthesis_for_Face_Reenactment
Fine_grained_Identity_Preserving_Landmark_Synthesis_for_Face_Reenactment
最近の顔の再現作業は、粗い参照ランドマークによって制限されており、操作されたランドマークと実際の人物からサンプリングされたランドマークとの間の分布のギャップのために、不十分なアイデンティティ保存パフォーマンスにつながります。この問題に対処するために、私たちは、きめ細かいアイデンティティを維持するランドマークに基づく顔の再現アプローチを提案します。提案された方法には2つの新規性があります。まず、より詳細なきめの細かいランドマークの顔を生成するように設計されたランドマーク合成ネットワーク。ネットワークは、操作されたランドマークを改良し、優れたID保持機能を備えた、滑らかで徐々に変化する顔のランドマークシーケンスを生成します。次に、合成された顔の同一性を維持する損失、前景/背景のマスク損失、境界損失など、いくつかの新しい損失関数が設計されています。これは、クリアでシャープな高品質の顔を合成することを目的としています。実験は、自己収集したBeautySelfieと公開されているVoxCeleb1データセットで実施されます。提示された定性的および定量的結果は、私たちの方法が、最先端の作品よりも優れたID保存の外観の詳細、少ないアーティファクト、および明確な境界を備えた、きめの細かい高品質の顔を再現できることを示しています。コードは複製のためにリリースされます。
Recent face reenactment works are limited by the coarse reference landmarks, leading to unsatisfactory identity preserving performance due to the distribution gap between the manipulated landmarks and those sampled from a real person. To address this issue, we propose a fine-grained identity-preserving landmark-guided face reenactment approach. The proposed method has two novelties. First, a landmark synthesis network which is designed to generate fine-grained landmark faces with more details. The network refines the manipulated landmarks and generates a smooth and gradually changing face landmark sequence with good identity preserving ability. Second, several novel loss functions including synthesized face identity preserving loss, foreground/background mask loss as well as boundary loss are designed, which aims at synthesizing clear and sharp high-quality faces. Experiments are conducted on our self-collected BeautySelfie and the public VoxCeleb1 datasets. The presented qualitative and quantitative results show that our method can reenact fine-grained higher quality faces with good ID-preserved appearance details, fewer artifacts and clearer boundaries than state-of-the-art works. Code will be released for reproduction.
updated: Sun Oct 10 2021 05:25:23 GMT+0000 (UTC)
published: Sun Oct 10 2021 05:25:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト