arXiv reaDer
一般的な低照度の生ノイズの合成とモデリングに向けて
Towards General Low-Light Raw Noise Synthesis and Modeling
低照度の生ノイズのモデリングと合成は、コンピュテーショナル フォトグラフィーおよび画像処理アプリケーションにとって基本的な問題です。最近の研究ではノイズを合成するために物理ベースのモデルが採用されていますが、低照度条件での信号に依存しないノイズははるかに複雑で、カメラ センサーによって大きく異なり、これらのモデルでは説明できません。この問題に対処するために、生成モデルによって信号に依存しないノイズを合成するという新しい観点を導入します。具体的には、信号に依存するノイズと信号に依存しないノイズを、それぞれ物理ベースの方法と学習ベースの方法で合成します。このようにして、私たちの方法は一般的なモデルと考えることができます。つまり、異なる ISO レベルの異なるノイズ特性を同時に学習し、さまざまなセンサーに一般化できます。続いて、ノイズ分布を正確に区別するためのフーリエ変換弁別器 (FTD) と呼ばれる効果的なマルチスケール弁別器を紹介します。さらに、トレーニングとベンチマークのために、新しい低照度生ノイズ除去 (LRD) データセットを収集します。定性的検証により、私たちが提案したノイズ モデルによって生成されたノイズは、分布の点で実際のノイズと非常に類似している可能性があることが示されています。さらに、広範なノイズ除去実験により、私たちの方法がさまざまなセンサーでの最先端の方法に対して有利に機能することが実証されています。
Modeling and synthesizing low-light raw noise is a fundamental problem for computational photography and image processing applications. Although most recent works have adopted physics-based models to synthesize noise, the signal-independent noise in low-light conditions is far more complicated and varies dramatically across camera sensors, which is beyond the description of these models. To address this issue, we introduce a new perspective to synthesize the signal-independent noise by a generative model. Specifically, we synthesize the signal-dependent and signal-independent noise in a physics- and learning-based manner, respectively. In this way, our method can be considered as a general model, that is, it can simultaneously learn different noise characteristics for different ISO levels and generalize to various sensors. Subsequently, we present an effective multi-scale discriminator termed Fourier transformer discriminator (FTD) to distinguish the noise distribution accurately. Additionally, we collect a new low-light raw denoising (LRD) dataset for training and benchmarking. Qualitative validation shows that the noise generated by our proposed noise model can be highly similar to the real noise in terms of distribution. Furthermore, extensive denoising experiments demonstrate that our method performs favorably against state-of-the-art methods on different sensors.
updated: Thu Aug 17 2023 12:10:15 GMT+0000 (UTC)
published: Mon Jul 31 2023 09:10:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト