arXiv reaDer
画像超解像の二重参照深層学習のためのデータ取得と準備
Data Acquisition and Preparation for Dual-reference Deep Learning of Image Super-Resolution
実世界の画像の超解像の深層学習方法の場合、最も重要な問題は、トレーニング用の低解像度と高解像度のペアの画像が実際のカメラのサンプリングプロセスを正確に反映しているかどうかです。既存の劣化モデル(バイキュービックダウンサンプリングなど)によって合成された低解像度と高解像度(LR∼HR)の画像ペアは、実際の画像ペアとは異なります。したがって、これらの合成されたLR∼HR画像ペアによってトレーニングされた超解像CNNは、実際の画像に適用された場合、うまく機能しません。この問題に対処するために、実際のカメラを使用してLR〜HR画像ペアの大規模なセットを撮影するための新しいデータ取得プロセスを提案します。画像は超高品質の画面に表示され、さまざまな解像度でキャプチャされます。結果として得られるLR∼HR画像ペアは、新しい空間周波数デュアルドメイン登録方法によって非常に高いサブピクセル精度で位置合わせできるため、超解像の学習タスクに高品質のトレーニングデータを提供します。さらに、キャプチャされたHR画像と元のデジタル画像は、学習パフォーマンスを向上させるための二重の参照を提供します。実験結果は、LR∼HRデータセットによる超解像CNNのトレーニングは、文献の他のデータセットによるトレーニングよりも高い画質を達成することを示しています。
For deep learning methods of real-world image super-resolution, the most critical issue is whether the paired low and high resolution images for training accurately reflect the sampling process of real cameras. Low and high resolution (LR∼HR) image pairs synthesized by existing degradation models (e.g., bicubic downsampling) deviate from those in reality; thus the super-resolution CNN trained by these synthesized LR∼HR image pairs does not perform well when being applied to real images. To address the problem, we propose a novel data acquisition process to shoot a large set of LR∼HR image pairs using real cameras. The images are displayed on an ultra-high quality screen and captured at different resolutions. The resulting LR∼HR image pairs can be aligned with very high sub-pixel precision by a novel spatial-frequency dual-domain registration method, and hence they provide high quality training data for the learning task of super-resolution. Moreover, the captured HR image and the original digital image offer dual references to improve the learning performance. Experimental results show that training a super-resolution CNN by our LR∼HR dataset achieves higher image quality than training it by other datasets in the literature.
updated: Mon Jan 03 2022 18:09:54 GMT+0000 (UTC)
published: Thu Aug 05 2021 03:31:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト