事前にトレーニングされた生成的敵対的ネットワーク(GAN)、たとえばStyleGANを潜在的なバンクとして使用して、大因子画像の超解像(SR)の復元品質を向上できることを示します。ほとんどの既存のSRアプローチは、敵対的損失を伴う学習を通じて現実的なテクスチャを生成しようとしますが、私たちの方法であるGenerative LatEnt bANk(GLEAN)は、事前にトレーニングされたGANにカプセル化された豊富で多様な事前情報を直接活用することにより、既存の手法を超えています。ただし、実行時に高価な画像固有の最適化を必要とする一般的なGAN反転方法とは異なり、このアプローチでは、アップスケールされた画像を生成するために1回のフォワードパスのみが必要です。 GLEANは、多重解像度スキップ接続を備えた単純なエンコーダ-バンク-デコーダアーキテクチャに簡単に組み込むことができます。バンクを切り替えると、猫、建物、人間の顔、車など、さまざまなカテゴリの画像を処理できるようになります。 GLEANによってアップスケールされた画像は、既存の方法と比較して、忠実度とテクスチャの忠実度の点で明らかな改善を示しています。
We show that pre-trained Generative Adversarial Networks (GANs), e.g., StyleGAN, can be used as a latent bank to improve the restoration quality of large-factor image super-resolution (SR). While most existing SR approaches attempt to generate realistic textures through learning with adversarial loss, our method, Generative LatEnt bANk (GLEAN), goes beyond existing practices by directly leveraging rich and diverse priors encapsulated in a pre-trained GAN. But unlike prevalent GAN inversion methods that require expensive image-specific optimization at runtime, our approach only needs a single forward pass to generate the upscaled image. GLEAN can be easily incorporated in a simple encoder-bank-decoder architecture with multi-resolution skip connections. Switching the bank allows the method to deal with images from diverse categories, e.g., cat, building, human face, and car. Images upscaled by GLEAN show clear improvements in terms of fidelity and texture faithfulness in comparison to existing methods.