教師なし現実世界の超解像 (USR) は、低解像度 (LR) 入力を指定して高解像度 (HR) 画像を復元することを目的としています。最も一般的なアプローチの 1 つは、GAN (劣化ジェネレーター) を使用してノイズの多い LR 画像を合成し、合成データセットを利用してモデルを教師付きでトレーニングすることです。劣化ジェネレーターをトレーニングする目的は、与えられた HR 画像に基づいて LR 画像の分布を近似することですが、以前の研究では、条件付き分布がデルタ関数であるという非現実的な仮定に大きく依存し、HR 画像から LR への決定論的マッピングを学習していました。画像。この論文では、仮定を緩和することで USR モデルのパフォーマンスを改善できることを示し、確率論的劣化ジェネレーターをトレーニングすることを提案します。私たちの確率的劣化ジェネレーターは、深い階層的な潜在変数モデルと見なすことができ、複雑な条件付き分布のモデル化により適しています。また、StyleGAN のノイズ注入との顕著な関係も明らかにします。さらに、複数の劣化ジェネレーターをトレーニングしてモード カバレッジを改善し、トレーニングを容易にするために協調学習を適用します。 PSNR と SSIM の点で、ベンチマーク データセットのいくつかのベースラインよりも優れており、目に見えないデータ分布に対する方法の堅牢性を示しています。コードは https://github.com/sangyun884/MSSR で入手できます。
Unsupervised real world super resolution (USR) aims to restore high-resolution (HR) images given low-resolution (LR) inputs, and its difficulty stems from the absence of paired dataset. One of the most common approaches is synthesizing noisy LR images using GANs (i.e., degradation generators) and utilizing a synthetic dataset to train the model in a supervised manner. Although the goal of training the degradation generator is to approximate the distribution of LR images given a HR image, previous works have heavily relied on the unrealistic assumption that the conditional distribution is a delta function and learned the deterministic mapping from the HR image to a LR image. In this paper, we show that we can improve the performance of USR models by relaxing the assumption and propose to train the probabilistic degradation generator. Our probabilistic degradation generator can be viewed as a deep hierarchical latent variable model and is more suitable for modeling the complex conditional distribution. We also reveal the notable connection with the noise injection of StyleGAN. Furthermore, we train multiple degradation generators to improve the mode coverage and apply collaborative learning for ease of training. We outperform several baselines on benchmark datasets in terms of PSNR and SSIM and demonstrate the robustness of our method on unseen data distribution. Code is available at https://github.com/sangyun884/MSSR.