arXiv reaDer
Towards High Fidelity Face Relighting with Realistic Shadows
既存の顔の再照明方法は、しばしば2つの問題に苦しんでいます。被写体の局所的な顔の詳細を維持することと、再照明された画像の影、特にハードシャドウを正確に削除して合成することです。両方の問題に対処する新しい深顔再照明法を提案します。私たちの方法は、ソース画像とターゲット画像の間の比率(商)画像を目的の照明で予測することを学習し、ローカルの顔の詳細を維持しながら画像を再照明できるようにします。トレーニング中に、モデルは、推定されたシャドウマスクを使用して高コントラストのシャドウ境界を強調することにより、シャドウを正確に変更することも学習します。さらに、シャドウマスクを使用して画像内の周囲光強度を推定する方法を紹介します。これにより、さまざまなグローバル照明強度でのトレーニング中に複数のデータセットを活用できます。 Multi-PIEおよびFFHQデータセットの定量的および定性的評価により、提案された方法が被写体の局所的な顔の詳細を忠実に維持し、最先端の顔の再照明性能を達成しながらハードシャドウを正確に処理できることを示します。
Existing face relighting methods often struggle with two problems: maintaining the local facial details of the subject and accurately removing and synthesizing shadows in the relit image, especially hard shadows. We propose a novel deep face relighting method that addresses both problems. Our method learns to predict the ratio (quotient) image between a source image and the target image with the desired lighting, allowing us to relight the image while maintaining the local facial details. During training, our model also learns to accurately modify shadows by using estimated shadow masks to emphasize on the high-contrast shadow borders. Furthermore, we introduce a method to use the shadow mask to estimate the ambient light intensity in an image, and are thus able to leverage multiple datasets during training with different global lighting intensities. With quantitative and qualitative evaluations on the Multi-PIE and FFHQ datasets, we demonstrate that our proposed method faithfully maintains the local facial details of the subject and can accurately handle hard shadows while achieving state-of-the-art face relighting performance.
updated: Sat Jun 05 2021 20:55:04 GMT+0000 (UTC)
published: Fri Apr 02 2021 00:28:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト