ディープニューラルネットワーク(DNN)の開発に伴い、DNNに基づく多くの方法が単一画像超解像(SISR)のために提案されてきました。ただし、既存の方法では、ほとんどの場合、均一にサンプリングされたLR-HRパッチペアでDNNをトレーニングするため、画像内の有益なパッチを十分に活用できません。この論文では、シンプルでありながら効果的なデータ拡張方法を紹介します。まず、各パッチペアの有益な重要性を評価するためのヒューリスティックメトリックを考案します。すべてのパッチペアの計算コストを削減するために、積分画像によるメトリックの計算を最適化して、約2桁の高速化を実現することをさらに提案します。トレーニングパッチペアは、私たちの方法での有益な重要性に従ってサンプリングされます。広範な実験により、サンプリングの拡張により、さまざまなスケーリング係数(x2、x3、x4)で、EDSR、RCAN、RDN、SRCNN、ESPCNなどのさまざまなSISRアーキテクチャの収束が一貫して改善され、パフォーマンスが向上することが示されています。コードはhttps://github.com/littlepure2333/SamplingAugで入手できます。
With the development of Deep Neural Networks (DNNs), plenty of methods based on DNNs have been proposed for Single Image Super-Resolution (SISR). However, existing methods mostly train the DNNs on uniformly sampled LR-HR patch pairs, which makes them fail to fully exploit informative patches within the image. In this paper, we present a simple yet effective data augmentation method. We first devise a heuristic metric to evaluate the informative importance of each patch pair. In order to reduce the computational cost for all patch pairs, we further propose to optimize the calculation of our metric by integral image, achieving about two orders of magnitude speedup. The training patch pairs are sampled according to their informative importance with our method. Extensive experiments show our sampling augmentation can consistently improve the convergence and boost the performance of various SISR architectures, including EDSR, RCAN, RDN, SRCNN and ESPCN across different scaling factors (x2, x3, x4). Code is available at https://github.com/littlepure2333/SamplingAug