ポートレート画像は、カジュアルなオブジェクトや顔自体によって投影される望ましくない影に悩まされることがよくあります。ポートレートシャドウを削除する既存の方法では、大規模な合成データセットのトレーニングが必要ですが、トレーニングデータを使用せずにポートレートシャドウを削除する最初の監視されていない方法を提案します。私たちの重要なアイデアは、既成の事前トレーニング済みStyleGAN2に埋め込まれている生成的な顔の事前情報を活用することです。これを実現するために、シャドウ除去タスクをレイヤー分解問題として定式化します。シャドウポートレート画像は、シャドウ画像とシャドウフリー画像のブレンドによって構築されます。分解プロセスを学習するための効果的なプログレッシブ最適化アルゴリズムを提案します。私たちのアプローチは、ポートレートタトゥーの削除と透かしの削除にも拡張できます。実世界のポートレートシャドウデータセットでの定性的および定量的実験は、私たちのアプローチが監視されたシャドウ除去方法と同等のパフォーマンスを達成することを示しています。ソースコードはhttps://github.com/YingqingHe/Shadow-Removal-via-Generative-Priorsで入手できます。
Portrait images often suffer from undesirable shadows cast by casual objects or even the face itself. While existing methods for portrait shadow removal require training on a large-scale synthetic dataset, we propose the first unsupervised method for portrait shadow removal without any training data. Our key idea is to leverage the generative facial priors embedded in the off-the-shelf pretrained StyleGAN2. To achieve this, we formulate the shadow removal task as a layer decomposition problem: a shadowed portrait image is constructed by the blending of a shadow image and a shadow-free image. We propose an effective progressive optimization algorithm to learn the decomposition process. Our approach can also be extended to portrait tattoo removal and watermark removal. Qualitative and quantitative experiments on a real-world portrait shadow dataset demonstrate that our approach achieves comparable performance with supervised shadow removal methods. Our source code is available at https://github.com/YingqingHe/Shadow-Removal-via-Generative-Priors.