arXiv reaDer
StyleGAN画像操作用のエンコーダーの設計
Designing an Encoder for StyleGAN Image Manipulation
最近、事前に訓練された無条件のジェネレータを使用して画像編集を実行するための多様な方法が急増している。ただし、これらの方法を実際の画像に適用することは、画像を潜在空間に反転させる必要があるため、依然として課題です。実際の画像を正常に反転するには、入力画像を正確に再構築する潜在的なコードを見つける必要があります。さらに重要なことは、その意味のある操作を可能にすることです。この論文では、最先端の無条件ジェネレータであるStyleGANの潜在空間を注意深く研究します。 StyleGAN潜在空間内の歪み-編集可能性のトレードオフと歪み-知覚のトレードオフの存在を識別して分析します。次に、StyleGANが最初にトレーニングされた領域への反転の近接性を制御できるようにエンコーダーを設計するための2つの原則を提案します。これらのトレードオフのバランスをとることにより、実際の画像の編集を容易にするために特別に設計された2つの原則に基づくエンコーダーを紹介します。車や馬を含む多くの挑戦的な領域でその性能を定性的および定量的に評価することにより、私たちの反転方法とそれに続く一般的な編集技術が、わずかな再構成精度の低下で優れた実画像編集品質を達成することを示します。
Recently, there has been a surge of diverse methods for performing image editing by employing pre-trained unconditional generators. Applying these methods on real images, however, remains a challenge, as it necessarily requires the inversion of the images into their latent space. To successfully invert a real image, one needs to find a latent code that reconstructs the input image accurately, and more importantly, allows for its meaningful manipulation. In this paper, we carefully study the latent space of StyleGAN, the state-of-the-art unconditional generator. We identify and analyze the existence of a distortion-editability tradeoff and a distortion-perception tradeoff within the StyleGAN latent space. We then suggest two principles for designing encoders in a manner that allows one to control the proximity of the inversions to regions that StyleGAN was originally trained on. We present an encoder based on our two principles that is specifically designed for facilitating editing on real images by balancing these tradeoffs. By evaluating its performance qualitatively and quantitatively on numerous challenging domains, including cars and horses, we show that our inversion method, followed by common editing techniques, achieves superior real-image editing quality, with only a small reconstruction accuracy drop.
updated: Thu Feb 04 2021 17:52:38 GMT+0000 (UTC)
published: Thu Feb 04 2021 17:52:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト