arXiv reaDer
HyperInverter:ハイパーネットワークを介したStyleGAN反転の改善
HyperInverter: Improving StyleGAN Inversion via Hypernetwork
実世界の画像操作は、GAN潜在空間の探索と利用の結果として、近年素晴らしい進歩を遂げました。 GAN反転は、このパイプラインの最初のステップであり、実際の画像を潜在コードに忠実にマッピングすることを目的としています。残念ながら、既存のGAN反転方法の大部分は、以下にリストされている3つの要件(高い再構成品質、編集可能性、および高速推論)の少なくとも1つを満たしていません。この研究では、すべての要件に同時に適合する新しい2フェーズ戦略を提示します。最初のフェーズでは、入力画像をStyleGAN2 W空間にマッピングするようにエンコーダーをトレーニングします。これは、優れた編集性を備えていますが、再構成の品質が低いことが証明されています。第2フェーズでは、一連のハイパーネットワークを活用して反転中に欠落している情報を回復することにより、初期フェーズでの再構築機能を補完します。これらの2つのステップは互いに補完し合い、ハイパーネットワークブランチのおかげで高い再構築品質を実現し、W空間で行われる反転による優れた編集性を実現します。私たちの方法は完全にエンコーダベースであるため、非常に高速な推論が可能です。 2つの挑戦的なデータセットでの広範な実験は、私たちの方法の優位性を示しています。
Real-world image manipulation has achieved fantastic progress in recent years as a result of the exploration and utilization of GAN latent spaces. GAN inversion is the first step in this pipeline, which aims to map the real image to the latent code faithfully. Unfortunately, the majority of existing GAN inversion methods fail to meet at least one of the three requirements listed below: high reconstruction quality, editability, and fast inference. We present a novel two-phase strategy in this research that fits all requirements at the same time. In the first phase, we train an encoder to map the input image to StyleGAN2 W-space, which was proven to have excellent editability but lower reconstruction quality. In the second phase, we supplement the reconstruction ability in the initial phase by leveraging a series of hypernetworks to recover the missing information during inversion. These two steps complement each other to yield high reconstruction quality thanks to the hypernetwork branch and excellent editability due to the inversion done in the W-space. Our method is entirely encoder-based, resulting in extremely fast inference. Extensive experiments on two challenging datasets demonstrate the superiority of our method.
updated: Wed Dec 01 2021 18:56:05 GMT+0000 (UTC)
published: Wed Dec 01 2021 18:56:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト