arXiv reaDer
Blind Super-Resolution Kernel Estimation using an Internal-GAN
 超解像(SR)メソッドは通常、低解像度(LR)画像が固定の「理想的な」ダウンスケーリングカーネル(バイキュービックダウンスケーリングなど)によって未知の高解像度(HR)画像からダウンスケールされたと想定します。ただし、合成生成されたSRデータセットとは対照的に、これは実際のLR画像ではめったにありません。想定されるダウンスケーリングカーネルが真のカーネルから逸脱すると、SRメソッドのパフォーマンスが大幅に低下します。これによりBlind-SR、つまり、ダウンスケーリングカーネル(「SRカーネル」)が不明な場合のSRが発生しました。さらに、真のSRカーネルは、LRイメージのスケール全体でパッチの繰り返しを最大化するものであることが示されました。このホワイトペーパーでは、Deep Internal Learningを使用して、この強力なクロススケール繰り返しプロパティを実現する方法を示します。テスト時にLRテストイメージのみでトレーニングし、パッチの内部分布を学習するイメージ固有の内部GANである「KernelGAN」を導入します。そのジェネレーターは、その判別器がダウンスケールされた画像のパッチ分布と元のLR画像のパッチ分布を区別できないように、LRテスト画像のダウンスケールされたバージョンを生成するようにトレーニングされます。生成されたジェネレーターは、適切なイメージ固有のSRカーネルを使用したダウンスケーリング操作を構成します。 KernelGANは完全に監視されておらず、入力画像自体以外のトレーニングデータを必要としません。また、既存のSRアルゴリズムにプラグインすると、Blind-SRの最新の結果につながります。
Super resolution (SR) methods typically assume that the low-resolution (LR) image was downscaled from the unknown high-resolution (HR) image by a fixed 'ideal' downscaling kernel (e.g. Bicubic downscaling). However, this is rarely the case in real LR images, in contrast to synthetically generated SR datasets. When the assumed downscaling kernel deviates from the true one, the performance of SR methods significantly deteriorates. This gave rise to Blind-SR - namely, SR when the downscaling kernel ("SR-kernel") is unknown. It was further shown that the true SR-kernel is the one that maximizes the recurrence of patches across scales of the LR image. In this paper we show how this powerful cross-scale recurrence property can be realized using Deep Internal Learning. We introduce "KernelGAN", an image-specific Internal-GAN, which trains solely on the LR test image at test time, and learns its internal distribution of patches. Its Generator is trained to produce a downscaled version of the LR test image, such that its Discriminator cannot distinguish between the patch distribution of the downscaled image, and the patch distribution of the original LR image. The Generator, once trained, constitutes the downscaling operation with the correct image-specific SR-kernel. KernelGAN is fully unsupervised, requires no training data other than the input image itself, and leads to state-of-the-art results in Blind-SR when plugged into existing SR algorithms.
updated: Tue Jan 07 2020 06:54:04 GMT+0000 (UTC)
published: Sat Sep 14 2019 11:29:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト