多くの高解像度画像から低解像度画像を得ることができるため、基本的に超解像は不良設定問題です。超解像に関する最近の研究では、多様な超解像画像を作成できません。 SRFlow は、低解像度画像から複数の高解像度画像を予測することにより、超解像の不適切な性質を説明しようとしましたが、多様性と視覚的品質を改善する余地があります。この論文では、ノイズ条件層を介して画像の視覚的品質と多様性を向上させる、超解像、NCSR のノイズ条件付きフロー モデルを提案します。より多様なデータ分布を学習するために、トレーニング データにノイズを追加します。ただし、ノイズを追加すると、画質が低下します。この現象を克服するために、ノイズ条件層を提案します。ノイズ条件レイヤーにより、モデルは他の作品よりも視覚的品質が高く、より多様な画像を生成できます。さらに、この層がデータ分布の不一致、フロー モデルの正規化で発生する問題を克服できることを示します。これらの利点により、NCSR は多様性と視覚的品質のベースラインを上回り、従来の GAN ベースのモデルよりも優れた視覚的品質を実現します。また、NTIRE 2021 チャレンジでも優れたスコアを獲得しています。
Fundamentally, super-resolution is ill-posed problem because a low-resolution image can be obtained from many high-resolution images. Recent studies for super-resolution cannot create diverse super-resolution images. Although SRFlow tried to account for ill-posed nature of the super-resolution by predicting multiple high-resolution images given a low-resolution image, there is room to improve the diversity and visual quality. In this paper, we propose Noise Conditional flow model for Super-Resolution, NCSR, which increases the visual quality and diversity of images through noise conditional layer. To learn more diverse data distribution, we add noise to training data. However, low-quality images are resulted from adding noise. We propose the noise conditional layer to overcome this phenomenon. The noise conditional layer makes our model generate more diverse images with higher visual quality than other works. Furthermore, we show that this layer can overcome data distribution mismatch, a problem that arises in normalizing flow models. With these benefits, NCSR outperforms baseline in diversity and visual quality and achieves better visual quality than traditional GAN-based models. We also get outperformed scores at NTIRE 2021 challenge.