生成的敵対的ネットワーク(GAN)を備えた単一画像超解像(SISR)は、豊富な詳細を生成する可能性があるため、最近ますます注目を集めています。ただし、GANのトレーニングは不安定であり、生成された詳細とともに、知覚的に不快なアーティファクトが多数発生することがよくあります。この論文では、視覚的なアーティファクトを抑制しながら、知覚的に現実的な詳細を安定して生成できるGANベースのSISRモデルをトレーニングできることを示します。アーティファクト領域のローカル統計(たとえば、残差分散)は、知覚的に友好的な詳細の領域とは異なることが多いという観察に基づいて、GANで生成されたアーティファクトと現実的な詳細を区別するフレームワークを開発し、その結果、アーティファクトマップを生成します。モデルトレーニングプロセスを正規化して安定させます。私たちが提案する局所識別学習(LDL)法は、シンプルでありながら効果的であり、既成のSISR法に簡単に組み込むことができ、そのパフォーマンスを向上させることができます。実験は、LDLが最先端のGANベースのSISR手法よりも優れており、合成データセットと実世界のデータセットの両方で、より高い再構成精度だけでなく、優れた知覚品質も達成していることを示しています。コードとモデルはhttps://github.com/csjliang/LDLで入手できます。
Single image super-resolution (SISR) with generative adversarial networks (GAN) has recently attracted increasing attention due to its potentials to generate rich details. However, the training of GAN is unstable, and it often introduces many perceptually unpleasant artifacts along with the generated details. In this paper, we demonstrate that it is possible to train a GAN-based SISR model which can stably generate perceptually realistic details while inhibiting visual artifacts. Based on the observation that the local statistics (e.g., residual variance) of artifact areas are often different from the areas of perceptually friendly details, we develop a framework to discriminate between GAN-generated artifacts and realistic details, and consequently generate an artifact map to regularize and stabilize the model training process. Our proposed locally discriminative learning (LDL) method is simple yet effective, which can be easily plugged in off-the-shelf SISR methods and boost their performance. Experiments demonstrate that LDL outperforms the state-of-the-art GAN based SISR methods, achieving not only higher reconstruction accuracy but also superior perceptual quality on both synthetic and real-world datasets. Codes and models are available at https://github.com/csjliang/LDL.