近年、Generative Adversarial Networksは、研究と一般の認識の両方でユビキタスになっていますが、GANが非構造化潜在コードを高品質の出力に変換する方法は未解決の問題です。この作業では、GANの構成特性を理解するためのプローブとして、潜在空間への回帰を調査します。リグレッサと事前トレーニングされたジェネレータを組み合わせると、事前に強力な画像が提供され、グローバルな一貫性を維持しながら、推論時にランダムな画像パーツのコラージュから合成画像を作成できることがわかります。異なるジェネレーター間で組成特性を比較するために、非現実的な入力の再構成と再生されたサンプルの画質との間のトレードオフを測定します。回帰アプローチでは、潜在空間での直接編集と比較して、個々の画像部分のより局所的な編集が可能であることがわかり、この独立効果を定量化するための実験を行います。私たちの方法は編集のセマンティクスにとらわれず、トレーニング中にラベルや事前定義された概念を必要としません。私たちの方法は、画像合成だけでなく、画像の修復やサンプルベースの画像編集など、いくつかのGANやデータセットで示す多くの関連アプリケーションに拡張され、単一のフォワードパスのみを使用するため、実際に動作できます。時間。コードは、プロジェクトページhttps://chail.github.io/latent-composition/で入手できます。
In recent years, Generative Adversarial Networks have become ubiquitous in both research and public perception, but how GANs convert an unstructured latent code to a high quality output is still an open question. In this work, we investigate regression into the latent space as a probe to understand the compositional properties of GANs. We find that combining the regressor and a pretrained generator provides a strong image prior, allowing us to create composite images from a collage of random image parts at inference time while maintaining global consistency. To compare compositional properties across different generators, we measure the trade-offs between reconstruction of the unrealistic input and image quality of the regenerated samples. We find that the regression approach enables more localized editing of individual image parts compared to direct editing in the latent space, and we conduct experiments to quantify this independence effect. Our method is agnostic to the semantics of edits, and does not require labels or predefined concepts during training. Beyond image composition, our method extends to a number of related applications, such as image inpainting or example-based image editing, which we demonstrate on several GANs and datasets, and because it uses only a single forward pass, it can operate in real-time. Code is available on our project page: https://chail.github.io/latent-composition/.