arXiv reaDer
画像超解像の二重参照深層学習のためのデータ取得と準備
Data Acquisition and Preparation for Dual-reference Deep Learning of Image Super-Resolution
深層学習ベースの画像超解像(SR)手法のパフォーマンスは、トレーニング用の低解像度と高解像度のペアの画像が実際のカメラのサンプリングプロセスをどの程度正確に特徴づけるかに依存します。劣化モデル(バイキュービックダウンサンプリングなど)によって合成された低解像度と高解像度(LR∼HR)の画像ペアは、実際の画像ペアとは異なります。したがって、合成的にトレーニングされたDCNN SRモデルは、実際の画像に適用すると期待外れに機能します。この問題に対処するために、実際のカメラを使用してLR∼HR画像ペアの大規模なセットを撮影するための新しいデータ取得プロセスを提案します。画像は超高品質の画面に表示され、さまざまな解像度でキャプチャされます。結果として得られるLR∼HR画像ペアは、新しい空間周波数デュアルドメイン登録方法によって非常に高いサブピクセル精度で位置合わせできるため、超解像の学習タスクに適したトレーニングデータを提供します。さらに、キャプチャされたHR画像と元のデジタル画像は、教師あり学習を強化するための二重の参照を提供します。実験結果は、LR∼HRデータセットによる超解像DCNNのトレーニングは、文献の他のデータセットによるトレーニングよりも高い画質を達成することを示しています。さらに、提案された画面キャプチャデータ収集プロセスは自動化できます。これは、任意のターゲットカメラに対して簡単かつ低コストで実行でき、DCNNSRモデルのトレーニングを特定のカメラごとに個別に調整する実用的な方法を提供します。
The performance of deep learning based image super-resolution (SR) methods depend on how accurately the paired low and high resolution images for training characterize the sampling process of real cameras. Low and high resolution (LR∼HR) image pairs synthesized by degradation models (e.g., bicubic downsampling) deviate from those in reality; thus the synthetically-trained DCNN SR models work disappointingly when being applied to real-world images. To address this issue, we propose a novel data acquisition process to shoot a large set of LR∼HR image pairs using real cameras. The images are displayed on an ultra-high quality screen and captured at different resolutions. The resulting LR∼HR image pairs can be aligned at very high sub-pixel precision by a novel spatial-frequency dual-domain registration method, and hence they provide more appropriate training data for the learning task of super-resolution. Moreover, the captured HR image and the original digital image offer dual references to strengthen supervised learning. Experimental results show that training a super-resolution DCNN by our LR∼HR dataset achieves higher image quality than training it by other datasets in the literature. Moreover, the proposed screen-capturing data collection process can be automated; it can be carried out for any target camera with ease and low cost, offering a practical way of tailoring the training of a DCNN SR model separately to each of the given cameras.
updated: Sun Jun 19 2022 15:19:47 GMT+0000 (UTC)
published: Thu Aug 05 2021 03:31:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト