高解像度(HR)画像が緊急に必要とされるアプリケーションシナリオをサポートするために、さまざまな単一画像超解像(SISR)アルゴリズムが開発されています。ただし、SISRは不適切な逆問題であり、再構成された画像にテクスチャシフト、ブラーなどのアーティファクトをもたらす可能性があるため、超解像画像(SRI)の品質を評価する必要があります。ほとんどの既存の画質評価(IQA)手法は、合成的に歪んだ画像用に開発されたものであり、SRIの歪みはより多様で複雑であるため、SRIでは機能しない可能性があることに注意してください。したがって、本論文では、SISRアルゴリズムによって引き起こされるアーティファクトが周波数情報に非常に敏感であるため、周波数マップに基づく参照なしの深層学習画質評価方法を提案します。具体的には、まず、Sobel演算子と区分的に滑らかな画像近似を使用して、SRIの高周波マップ(HM)と低周波マップ(LM)を取得します。次に、2ストリームネットワークを使用して、両方の周波数マップの品質を意識した特徴を抽出します。最後に、完全に接続されたレイヤーを使用して、機能が単一の品質値に回帰されます。実験結果は、私たちの方法が、選択された3つの超解像品質評価(SRQA)データベースで比較されたすべてのIQAモデルよりも優れていることを示しています。
To support the application scenarios where high-resolution (HR) images are urgently needed, various single image super-resolution (SISR) algorithms are developed. However, SISR is an ill-posed inverse problem, which may bring artifacts like texture shift, blur, etc. to the reconstructed images, thus it is necessary to evaluate the quality of super-resolution images (SRIs). Note that most existing image quality assessment (IQA) methods were developed for synthetically distorted images, which may not work for SRIs since their distortions are more diverse and complicated. Therefore, in this paper, we propose a no-reference deep-learning image quality assessment method based on frequency maps because the artifacts caused by SISR algorithms are quite sensitive to frequency information. Specifically, we first obtain the high-frequency map (HM) and low-frequency map (LM) of SRI by using Sobel operator and piecewise smooth image approximation. Then, a two-stream network is employed to extract the quality-aware features of both frequency maps. Finally, the features are regressed into a single quality value using fully connected layers. The experimental results show that our method outperforms all compared IQA models on the selected three super-resolution quality assessment (SRQA) databases.