フォトリアリスティックな画像の生成、セマンティック編集、表現学習は、高解像度生成モデルの多くの潜在的なアプリケーションのいくつかです。 GANの最近の進歩により、GANはそのようなタスクの優れた選択肢として確立されています。ただし、推論モデルを提供していないため、GAN潜在空間を使用して実際の画像に対して画像編集や分類などのダウンストリームタスクを実行することはできません。推論モデルをトレーニングしたり、事前にトレーニングされたジェネレーターを反転する反復法を設計したりするための多くの努力にもかかわらず、以前の方法はデータセット(例:人間の顔画像)とアーキテクチャ(例:StyleGAN)に固有です。これらの方法は、新しいデータセットやアーキテクチャに拡張するのに簡単ではありません。アーキテクチャやデータセットにとらわれない一般的なフレームワークを提案します。私たちの重要な洞察は、推論と生成モデルを一緒にトレーニングすることにより、それらが互いに適応し、より良い品質のモデルに収束できるようにすることです。 Invertable GANの略であるInvGANは、高品質の生成モデルの潜在空間に実際の画像をうまく埋め込むことができます。これにより、画像の修復、マージ、補間、およびオンラインデータ拡張を実行できます。これは、広範な定性的および定量的実験で実証されています。
Generation of photo-realistic images, semantic editing and representation learning are a few of many potential applications of high resolution generative models. Recent progress in GANs have established them as an excellent choice for such tasks. However, since they do not provide an inference model, image editing or downstream tasks such as classification can not be done on real images using the GAN latent space. Despite numerous efforts to train an inference model or design an iterative method to invert a pre-trained generator, previous methods are dataset (e.g. human face images) and architecture (e.g. StyleGAN) specific. These methods are nontrivial to extend to novel datasets or architectures. We propose a general framework that is agnostic to architecture and datasets. Our key insight is that, by training the inference and the generative model together, we allow them to adapt to each other and to converge to a better quality model. Our InvGAN, short for Invertable GAN, successfully embeds real images to the latent space of a high quality generative model. This allows us to perform image inpainting, merging, interpolation and online data augmentation. We demonstrate this with extensive qualitative and quantitative experiments.