arXiv reaDer
フォトリアリスティックな顔のしわの除去
Photorealistic Facial Wrinkles Removal
顔の属性の編集とレタッチは複雑な作業であり、通常は人間のアーティストが写真のようにリアルな結果を得る必要があります。そのアプリケーションは多数あり、いくつか例を挙げると、化粧品やデジタル メディアのレタッチなど、いくつかのコンテキストで見つけることができます。最近、条件付き生成モデリングの進歩により、現実的な方法で顔の属性を変更するという驚くべき結果が示されました。ただし、現在の方法では依然としてアーティファクトが発生しやすく、年齢や性別などのグローバルな属性、またはメガネや口ひげなどのローカルな中規模の属性の変更に重点が置かれています。この作品では、顔のしわを修正するための 2 段階のアプローチを再検討し、これまでにないリアルな結果を得ています。まず、最先端のしわセグメンテーション ネットワークを使用して、顔領域内のしわを検出します。次に、修復モジュールを使用して、検出されたしわを除去し、周囲の皮膚と統計的に一致するテクスチャで埋めます。これを達成するために、しわセグメンテーション ネットワークを再利用して、修復後にまだしわを含む領域にペナルティを課す新しい損失項を導入します。しわ除去のタスクの最先端の結果を示して、私たちの方法を定性的および定量的に評価します。さらに、しわ検出方法を評価するために、FFHQ-Wrinkles という名前の最初の高解像度データセットを紹介します。
Editing and retouching facial attributes is a complex task that usually requires human artists to obtain photo-realistic results. Its applications are numerous and can be found in several contexts such as cosmetics or digital media retouching, to name a few. Recently, advancements in conditional generative modeling have shown astonishing results at modifying facial attributes in a realistic manner. However, current methods are still prone to artifacts, and focus on modifying global attributes like age and gender, or local mid-sized attributes like glasses or moustaches. In this work, we revisit a two-stage approach for retouching facial wrinkles and obtain results with unprecedented realism. First, a state of the art wrinkle segmentation network is used to detect the wrinkles within the facial region. Then, an inpainting module is used to remove the detected wrinkles, filling them in with a texture that is statistically consistent with the surrounding skin. To achieve this, we introduce a novel loss term that reuses the wrinkle segmentation network to penalize those regions that still contain wrinkles after the inpainting. We evaluate our method qualitatively and quantitatively, showing state of the art results for the task of wrinkle removal. Moreover, we introduce the first high-resolution dataset, named FFHQ-Wrinkles, to evaluate wrinkle detection methods.
updated: Thu Nov 03 2022 16:09:51 GMT+0000 (UTC)
published: Thu Nov 03 2022 16:09:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト