単一画像超解像(SISR)は、低解像度(LR)入力から高解像度(HR)出力を取得することを目的とした不適切な問題であり、その間に、知覚を改善するために余分な高周波情報が追加されることになっています。品質。既存のSISRは、平均二乗再構成誤差を最小化することにより、主に空間領域で動作します。高いピーク信号対雑音比(PSNR)の結果にもかかわらず、モデルが目的の高周波の詳細を正しく追加しているかどうかを判断することは困難です。いくつかの残差ベースの構造は、モデルが高周波の特徴に暗黙的に焦点を合わせるように導くために提案されています。ただし、空間ドメインメトリックからの解釈が制限されているため、これらの人工的な詳細の忠実度を検証する方法は依然として問題です。この論文では、この問題を解決するために、周波数領域の観点から直感的なパイプラインであるFreqNetを提案します。既存の周波数領域の作業に触発されて、画像を離散コサイン変換(DCT)ブロックに変換し、モデルの入力およびターゲットとして機能するDCT特徴マップを取得するように再変換します。専用のパイプラインが設計されており、周波数領域タスクの性質に合うように周波数損失関数をさらに提案します。周波数領域でのSISR法は、高周波情報を明示的に学習し、SR画像の忠実度と優れた知覚品質を提供します。さらに、私たちのモデルを他の空間超解像モデルとマージして、元のSR出力の品質を向上させることができることを確認します。
Single image super-resolution(SISR) is an ill-posed problem that aims to obtain high-resolution (HR) output from low-resolution (LR) input, during which extra high-frequency information is supposed to be added to improve the perceptual quality. Existing SISR works mainly operate in the spatial domain by minimizing the mean squared reconstruction error. Despite the high peak signal-to-noise ratios(PSNR) results, it is difficult to determine whether the model correctly adds desired high-frequency details. Some residual-based structures are proposed to guide the model to focus on high-frequency features implicitly. However, how to verify the fidelity of those artificial details remains a problem since the interpretation from spatial-domain metrics is limited. In this paper, we propose FreqNet, an intuitive pipeline from the frequency domain perspective, to solve this problem. Inspired by existing frequency-domain works, we convert images into discrete cosine transform (DCT) blocks, then reform them to obtain the DCT feature maps, which serve as the input and target of our model. A specialized pipeline is designed, and we further propose a frequency loss function to fit the nature of our frequency-domain task. Our SISR method in the frequency domain can learn the high-frequency information explicitly, provide fidelity and good perceptual quality for the SR images. We further observe that our model can be merged with other spatial super-resolution models to enhance the quality of their original SR output.