ディープラーニングベースの超解像(SR)メソッドは、ブラーカーネルが知られている非ブラインド設定で有望なパフォーマンスを示しています。ただし、さまざまな実用的なアプリケーションでの低解像度(LR)画像のブラーカーネルは通常不明です。トレーニング画像の劣化プロセスが実際の画像の劣化プロセスから逸脱すると、パフォーマンスが大幅に低下する可能性があります。本論文では、周波数領域での正確なカーネル推定により、任意のブラーカーネルによって劣化したLR画像を超解像するための新しいブラインドSRフレームワークを提案します。私たちの知る限り、これは周波数領域でブラーカーネル推定を行う最初の深層学習法です。具体的には、最初に、周波数領域での特徴表現が、空間領域よりもブラーカーネルの再構築に役立つことを示します。次に、Spectrum-to-Kernel(S2K)ネットワークを提示して、さまざまな形式の一般的なブラーカーネルを推定します。条件付きGAN(CGAN)をSR指向の最適化ターゲットと組み合わせて使用し、劣化した画像のスペクトルから未知のカーネルへのエンドツーエンドの変換を学習します。合成画像と実世界画像の両方での広範な実験は、提案された方法がブラーカーネル推定エラーを十分に低減し、したがって、既製の非ブラインドSR法がブラインド設定で効果的に機能し、状態よりも優れたパフォーマンスを達成することを示しています。 -最先端のブラインドSR法、スケール2倍および4倍のコモムブラインドSR設定(ガウスカーネルを使用)で平均1.39dB、0.48dB。
Deep-learning based Super-Resolution (SR) methods have exhibited promising performance under non-blind setting where blur kernel is known. However, blur kernels of Low-Resolution (LR) images in different practical applications are usually unknown. It may lead to significant performance drop when degradation process of training images deviates from that of real images. In this paper, we propose a novel blind SR framework to super-resolve LR images degraded by arbitrary blur kernel with accurate kernel estimation in frequency domain. To our best knowledge, this is the first deep learning method which conducts blur kernel estimation in frequency domain. Specifically, we first demonstrate that feature representation in frequency domain is more conducive for blur kernel reconstruction than in spatial domain. Next, we present a Spectrum-to-Kernel (S2K) network to estimate general blur kernels in diverse forms. We use a Conditional GAN (CGAN) combined with SR-oriented optimization target to learn the end-to-end translation from degraded images' spectra to unknown kernels. Extensive experiments on both synthetic and real-world images demonstrate that our proposed method sufficiently reduces blur kernel estimation error, thus enables the off-the-shelf non-blind SR methods to work under blind setting effectively, and achieves superior performance over state-of-the-art blind SR methods, averagely by 1.39dB, 0.48dB on commom blind SR setting (with Gaussian kernels) for scales 2× and 4×, respectively.