現実の世界でキャプチャされた低照度の画像は、センサーノイズによって必然的に破損します。このようなノイズは空間的に変化し、基礎となるピクセル強度に大きく依存し、従来のノイズ除去における過度に単純化された仮定から逸脱します。既存の光増強方法は、増強中の実世界のノイズの重要な影響を見落とすか、ノイズ除去を別個の前処理または後処理ステップとして扱います。光エンハンスメントとノイズ抑制パーツを統合された物理学に基づいた最適化フレームワークにシームレスに統合する、実世界の低光ノイズ画像(CERL)の協調エンハンスメントを紹介します。実際の低照度ノイズ除去部分については、クリーンなグラウンドトゥルース画像を参照せずに簡単に適応できる自己監視型ノイズ除去モデルをカスタマイズします。ライトエンハンスメント部分については、最先端のバックボーンのデザインも改善しています。次に、2つの部分が共同で定式化され、1つの原則的なプラグアンドプレイ最適化になります。私たちのアプローチは、定性的および定量的の両方で最先端の低照度増強方法と比較されます。標準のベンチマークに加えて、新しいリアルな低照度モバイル写真データセット(RLMP)をさらに収集してテストします。このデータセットのモバイルでキャプチャされた写真は、高品質のカメラで撮影された写真よりも重いリアルなノイズを表示します。 CERLは、すべての実験で一貫して最も視覚的に心地よく、アーチファクトのない結果を生成します。 RLMPデータセットとコードは、https://github.com/VITA-Group/CERLで入手できます。
Low-light images captured in the real world are inevitably corrupted by sensor noise. Such noise is spatially variant and highly dependent on the underlying pixel intensity, deviating from the oversimplified assumptions in conventional denoising. Existing light enhancement methods either overlook the important impact of real-world noise during enhancement, or treat noise removal as a separate pre- or post-processing step. We present Coordinated Enhancement for Real-world Low-light Noisy Images (CERL), that seamlessly integrates light enhancement and noise suppression parts into a unified and physics-grounded optimization framework. For the real low-light noise removal part, we customize a self-supervised denoising model that can easily be adapted without referring to clean ground-truth images. For the light enhancement part, we also improve the design of a state-of-the-art backbone. The two parts are then joint formulated into one principled plug-and-play optimization. Our approach is compared against state-of-the-art low-light enhancement methods both qualitatively and quantitatively. Besides standard benchmarks, we further collect and test on a new realistic low-light mobile photography dataset (RLMP), whose mobile-captured photos display heavier realistic noise than those taken by high-quality cameras. CERL consistently produces the most visually pleasing and artifact-free results across all experiments. Our RLMP dataset and codes are available at: https://github.com/VITA-Group/CERL.