arXiv reaDer
自己管理型低照度画像の強調とノイズ除去
Self-supervised Low Light Image Enhancement and Denoising
本論文では、深層学習に基づく自己教師あり低照度画像強調法を提案します。これにより、画像のコントラストを改善し、同時にノイズを低減して、デノイジング前後のブレを回避できます。この方法には、画像コントラスト強調ネットワーク(ICE-Net)と再強調およびノイズ除去ネットワーク(RED-Net)の2つの深いサブネットワークが含まれています。 ICE-Netは、低照度の画像を入力として受け取り、コントラストが強調された画像を生成します。 RED-Netは、ICE-Netと低照度画像の結果を入力として受け取り、低照度画像の再強調とノイズ除去を同時に行うことができます。両方のネットワークは、最大エントロピーベースのRetinex(ME-Retinex)モデルと、ノイズが独立して分布しているという仮定によって実現される、低照度の画像のみでトレーニングできます。 ME-Retinexモデルでは、反射率画像の最大チャネルが低照度画像の最大チャネルに一致し、そのエントロピーが最大であるという反射率画像の新しい制約が導入されます。これにより、反射率と照明の分解が変換されます。 Retinexモデルでは、悪条件のない問題に対応し、ICE-Netを自己監視方式でトレーニングできるようにします。 RED-Netの損失関数は、トレーニング中にノイズと詳細を分離するように注意深く定式化されています。これらは、ノイズが独立して分布している場合、平滑化フィルター(平均フィルターなど)の処理後、ノイズ部分はディテール部分の勾配よりも小さくする必要があります。提案手法が効率的であることが実験を通じて定性的・定量的に証明できる。
This paper proposes a self-supervised low light image enhancement method based on deep learning, which can improve the image contrast and reduce noise at the same time to avoid the blur caused by pre-/post-denoising. The method contains two deep sub-networks, an Image Contrast Enhancement Network (ICE-Net) and a Re-Enhancement and Denoising Network (RED-Net). The ICE-Net takes the low light image as input and produces a contrast enhanced image. The RED-Net takes the result of ICE-Net and the low light image as input, and can re-enhance the low light image and denoise at the same time. Both of the networks can be trained with low light images only, which is achieved by a Maximum Entropy based Retinex (ME-Retinex) model and an assumption that noises are independently distributed. In the ME-Retinex model, a new constraint on the reflectance image is introduced that the maximum channel of the reflectance image conforms to the maximum channel of the low light image and its entropy should be the largest, which converts the decomposition of reflectance and illumination in Retinex model to a non-ill-conditioned problem and allows the ICE-Net to be trained with a self-supervised way. The loss functions of RED-Net are carefully formulated to separate the noises and details during training, and they are based on the idea that, if noises are independently distributed, after the processing of smoothing filters (e.g. mean filter), the gradient of the noise part should be smaller than the gradient of the detail part. It can be proved qualitatively and quantitatively through experiments that the proposed method is efficient.
updated: Mon Mar 01 2021 08:05:02 GMT+0000 (UTC)
published: Mon Mar 01 2021 08:05:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト