arXiv reaDer
時空間歪みモデルの学習によるHDRノイズ除去とブレ除去
HDR Denoising and Deblurring by Learning Spatio-temporal Distortion Models
さまざまなピクセル列にさまざまな低ダイナミックレンジ(LDR)情報を記録するデュアル露出センサーから、シャープでノイズのないハイダイナミックレンジ(HDR)ビデオを再構築しようとしています。奇数列は、低露出、シャープ、ただしノイズを提供します。情報;列でさえ、ノイズが少なく、露出が高く、モーションブラーのあるデータでこれを補完します。以前のLDR作業では、CLEAN画像とDISTORTED画像のペアによって監視されるブレ除去とノイズ除去(DISTORTED-> CLEAN)を学習します。残念ながら、歪んだセンサーの読み取り値のキャプチャには時間がかかります。また、CLEANHDRビデオが不足しています。これら2つの制限を克服する方法を提案します。まず、代わりに別の関数を学習します。CLEAN-> DISTORTEDは、相関ピクセルノイズ、行と列のノイズ、および少数のCLEANセンサー読み取り値からのモーションブラーを含むサンプルを生成します。次に、利用できるCLEAN HDRビデオが十分にないため、代わりにLDRビデオから学習する方法を考案します。私たちのアプローチは、いくつかの強力なベースラインと比べて遜色がなく、データで再トレーニングされたときに既存の方法を後押しすることができます。空間的および時間的な超解像と組み合わせることで、低ノイズまたはブラーでの再照明などのアプリケーションが可能になります。
We seek to reconstruct sharp and noise-free high-dynamic range (HDR) video from a dual-exposure sensor that records different low-dynamic range (LDR) information in different pixel columns: Odd columns provide low-exposure, sharp, but noisy information; even columns complement this with less noisy, high-exposure, but motion-blurred data. Previous LDR work learns to deblur and denoise (DISTORTED->CLEAN) supervised by pairs of CLEAN and DISTORTED images. Regrettably, capturing DISTORTED sensor readings is time-consuming; as well, there is a lack of CLEAN HDR videos. We suggest a method to overcome those two limitations. First, we learn a different function instead: CLEAN->DISTORTED, which generates samples containing correlated pixel noise, and row and column noise, as well as motion blur from a low number of CLEAN sensor readings. Second, as there is not enough CLEAN HDR video available, we devise a method to learn from LDR video in-stead. Our approach compares favorably to several strong baselines, and can boost existing methods when they are re-trained on our data. Combined with spatial and temporal super-resolution, it enables applications such as re-lighting with low noise or blur.
updated: Tue Dec 22 2020 13:53:26 GMT+0000 (UTC)
published: Tue Dec 22 2020 13:53:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト