arXiv reaDer
StyleGAN の潜在空間をリアルフェイス編集用に変換
Transforming the Latent Space of StyleGAN for Real Face Editing
StyleGAN を使用したセマンティック操作の最近の進歩にもかかわらず、実際の顔のセマンティック編集は依然として困難です。 W スペースと W+ スペースの間のギャップは、再構成品質と編集品質の間の望ましくないトレードオフを要求します。この問題を解決するために、StyleGAN のマッピング ネットワーク内の完全に接続されたレイヤーをアテンション ベースのトランスフォーマーに置き換えることで、潜在空間を拡張することを提案します。このシンプルで効果的な手法は、前述の 2 つの空間を統合し、W++ と呼ばれる 1 つの新しい潜在空間に変換します。変更された StyleGAN は、適度に優れた多様性で、元の StyleGAN の最先端の生成品質を維持します。しかし、より重要なことは、提案された W++ スペースは、再構成品質と編集品質の両方で優れたパフォーマンスを実現することです。これらの重要な利点にもかかわらず、私たちの W++ スペースは、W/W+ スペースと構造的に類似しているため、既存の反転アルゴリズムと編集方法をごくわずかな変更でサポートします。 FFHQ データセットに関する広範な実験により、提案された W++ スペースは、以前の W/W+ スペースよりも実際の顔編集に明らかに適していることが証明されました。コードは、https://github.com/AnonSubm2021/TransStyleGAN で研究目的で公開されています。
Despite recent advances in semantic manipulation using StyleGAN, semantic editing of real faces remains challenging. The gap between the W space and the W+ space demands an undesirable trade-off between reconstruction quality and editing quality. To solve this problem, we propose to expand the latent space by replacing fully-connected layers in the StyleGAN's mapping network with attention-based transformers. This simple and effective technique integrates the aforementioned two spaces and transforms them into one new latent space called W++. Our modified StyleGAN maintains the state-of-the-art generation quality of the original StyleGAN with moderately better diversity. But more importantly, the proposed W++ space achieves superior performance in both reconstruction quality and editing quality. Despite these significant advantages, our W++ space supports existing inversion algorithms and editing methods with only negligible modifications thanks to its structural similarity with the W/W+ space. Extensive experiments on the FFHQ dataset prove that our proposed W++ space is evidently more preferable than the previous W/W+ space for real face editing. The code is publicly available for research purposes at https://github.com/AnonSubm2021/TransStyleGAN.
updated: Sat May 29 2021 06:42:23 GMT+0000 (UTC)
published: Sat May 29 2021 06:42:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト