arXiv reaDer
Dual-reference Training Data Acquisition and CNN Construction for Image Super-Resolution
画像の超解像の深層学習方法の場合、最も重要な問題は、トレーニング用の低解像度と高解像度のペアの画像が実際のカメラのサンプリングプロセスを正確に反映しているかどうかです。既存の劣化モデル(バイキュービックダウンサンプリングなど)によって合成された低解像度と高解像度(LR∼HR)の画像ペアは、実際の画像ペアとは異なります。したがって、これらの合成されたLR∼HR画像ペアによってトレーニングされた超解像CNNは、実際の画像に適用された場合、うまく機能しません。本論文では、実際のカメラを使用して現実的なLR∼HR画像ペアの大規模なセットをキャプチャする新しい方法を提案します。データ取得は、最小限の人間の介入と高スループット(1時間あたり約500画像ペア)で制御可能なラボ条件下で実行されます。 )。高レベルの自動化により、カメラごとに実際のLR∼HRトレーニング画像ペアのセットを簡単に作成できます。私たちの革新は、超高品質の画面に表示された画像をさまざまな解像度で撮影することです。私たちの方法には、画像の超解像のための高品質のトレーニングデータセットを収集できる3つの特徴的な利点があります。まず、LRおよびHR画像が3D平面(画面)から取得されるため、レジストレーションの問題はホモグラフィモデルに正確に適合します。第2に、画像マージンに特別なマーカーを表示して、位置合わせの精度をさらに向上させることができます。第3に、表示されたデジタル画像ファイルを参照として利用して、復元された画像の高周波コンテンツを最適化できます。実験結果は、LR∼HRデータセットによる超解像CNNのトレーニングは、推論段階で実世界の画像上の既存のデータセットによるトレーニングよりも優れた復元パフォーマンスを持っていることを示しています。
For deep learning methods of image super-resolution, the most critical issue is whether the paired low and high resolution images for training accurately reflect the sampling process of real cameras. Low and high resolution (LR∼HR) image pairs synthesized by existing degradation models (e.g. , bicubic downsampling) deviate from those in reality; thus the super-resolution CNN trained by these synthesized LR∼HR image pairs does not perform well when being applied to real images. In this paper, we propose a novel method to capture a large set of realistic LR∼HR image pairs using real cameras.The data acquisition is carried out under controllable lab conditions with minimum human intervention and at high throughput (about 500 image pairs per hour). The high level of automation makes it easy to produce a set of real LR∼HR training image pairs for each camera. Our innovation is to shoot images displayed on an ultra-high quality screen at different resolutions.There are three distinctive advantages with our method that allow us to collect high-quality training datasets for image super-resolution. First, as the LR and HR images are taken of a 3D planar surface (the screen) the registration problem fits exactly to a homography model. Second, we can display special markers on the image margin to further improve the registration precision.Third, the displayed digital image file can be exploited as a reference to optimize the high frequency content of the restored image. Experimental results show that training a super-resolution CNN by our LR∼HR dataset has superior restoration performance than training it by existing datasets on real world images at the inference stage.
updated: Thu Aug 05 2021 03:31:50 GMT+0000 (UTC)
published: Thu Aug 05 2021 03:31:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト