arXiv reaDer
低照度環境での写真撮影のためのフラッシュとフラッシュなしのペアのディープノイズ除去
Deep Denoising of Flash and No-Flash Pairs for Photography in Low-Light Environments
フラッシュの有無にかかわらず、暗い環境ですばやく連続して撮影された画像のペアのノイズを除去するニューラルネットワークベースの方法を紹介します。私たちの目標は、フラッシュによって明らかにされた表面のテクスチャとディテールを復元しながら、ノイズの多いフラッシュなしの画像の周囲の照明から色とムードを維持するシーンの高品質のレンダリングを生成することです。私たちのネットワークは、ゲインマップとカーネルのフィールドを出力します。後者は、画像ごとの低ランクのカーネルベースの要素を線形に混合することによって取得されます。最初にカーネルフィールドをフラッシュなしのイメージに適用し、次にその結果にゲインマップを掛けて、最終的な出力を作成します。フラッシュなしの画像からのシーンの周囲の外観の平滑化された推定と、フラッシュ入力から抽出された高周波アルベドの詳細を組み合わせることにより、ネットワークが高品質の画像を生成することを効果的に学習することを示します。私たちの実験では、フラッシュなしの代替キャプチャ、およびフラッシュとフラッシュなしのペアを使用するベースラインデノイザーに比べて大幅な改善が見られます。特に、私たちの方法は、ノイズがなく、フラッシュ画像に見える鋭い影や強い鏡面ハイライトのない正確な周囲色を含む画像を生成します。
We introduce a neural network-based method to denoise pairs of images taken in quick succession in low-light environments, with and without a flash. Our goal is to produce a high-quality rendering of the scene that preserves the color and mood from the ambient illumination of the noisy no-flash image, while recovering surface texture and detail revealed by the flash. Our network outputs a gain map and a field of kernels, the latter obtained by linearly mixing elements of a per-image low-rank kernel basis. We first apply the kernel field to the no-flash image, and then multiply the result with the gain map to create the final output. We show our network effectively learns to produce high-quality images by combining a smoothed out estimate of the scene's ambient appearance from the no-flash image, with high-frequency albedo details extracted from the flash input. Our experiments show significant improvements over alternative captures without a flash, and baseline denoisers that use flash no-flash pairs. In particular, our method produces images that are both noise-free and contain accurate ambient colors without the sharp shadows or strong specular highlights visible in the flash image.
updated: Wed Dec 09 2020 15:41:16 GMT+0000 (UTC)
published: Wed Dec 09 2020 15:41:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト